WO2015093518A1 - 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 - Google Patents
画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 Download PDFInfo
- Publication number
- WO2015093518A1 WO2015093518A1 PCT/JP2014/083379 JP2014083379W WO2015093518A1 WO 2015093518 A1 WO2015093518 A1 WO 2015093518A1 JP 2014083379 W JP2014083379 W JP 2014083379W WO 2015093518 A1 WO2015093518 A1 WO 2015093518A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- fluorescent
- bright spot
- fluorescence
- cell
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/695—Preprocessing, e.g. image segmentation
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Definitions
- the present invention relates to an image processing apparatus, a pathological diagnosis support system, an image processing program, and an image processing method.
- Patent Document 1 proposes a method for identifying and quantifying specific cells by staining a tissue section with a fluorescent dye and obtaining the area and luminance level of the fluorescent light emission part (lower part of the third page). (Refer to the 13th line on the right side-the 8th line on the left side of the upper part of the fourth page, the 10th line on the left side of the 4th page, etc.)
- Patent Document 2 discloses a method of staining a tissue section using fluorescent particles, measuring a fluorescent bright spot using a confocal microscope, and calculating the number of bright spots per cell ( See Example 1-2).
- a main object of the present invention is to provide an image processing apparatus capable of accurately quantifying the expression (number of expression and expression position) of a specific protein in an observation target cell by a simple method.
- Another object of the present invention is to provide a pathological diagnosis support system, an image processing program, and an image processing method that use the image processing apparatus.
- An input means for inputting a bright-field image representing the morphology of cells in the tissue section and a fluorescence image representing the expression of a specific protein in the same range of the tissue section as a fluorescent bright spot;
- First generation means for generating a cell image in which a specific part of a cell is extracted from the bright field image; An image in which a bright spot area is extracted from the fluorescent image is generated, a brightness profile is created for each bright spot area, and the fluorescence in the bright spot area is generated based on the fluorescence profile of one fluorescent particle serving as a fluorescent bright spot source.
- Second generation means for generating a fluorescent particle image from which particles have been extracted; Adding means for superimposing the cell image and the fluorescent particle image;
- An image processing apparatus is provided.
- the image processing device An image acquisition device used in the image processing device for acquiring the bright field image and the fluorescence image; A pathological diagnosis support system is provided.
- Computer An input means for inputting a bright field image representing the morphology of cells in a tissue section and a fluorescence image representing the expression of a specific protein in the same range of the tissue section as a fluorescent bright spot; First generation means for generating a cell image in which a specific portion of a cell is extracted from the bright field image; An image in which a bright spot area is extracted from the fluorescent image is generated, a brightness profile is created for each bright spot area, and the fluorescence in the bright spot area is generated based on the fluorescence profile of one fluorescent particle serving as a fluorescent bright spot source. Second generation means for generating a fluorescent particle image from which particles have been extracted; Adding means for superimposing the cell image and the fluorescent particle image; An image processing program for functioning as
- An input step of inputting a bright field image representing the morphology of cells in a tissue section and a fluorescence image representing the expression of a specific protein in the same range of the tissue section as a fluorescent luminescent spot A first generation step of generating a cell image in which a specific part of a cell is extracted from the bright field image; An image in which a bright spot area is extracted from the fluorescent image is generated, a brightness profile is created for each bright spot area, and the fluorescence in the bright spot area is generated based on the fluorescence profile of one fluorescent particle serving as a fluorescent bright spot source.
- the expression (number of expression and expression position) of a specific protein in the observation target cell can be accurately quantified by a simple method.
- FIG. 5 S4 It is a figure which shows the system configuration
- FIG. 1 shows an example of the overall configuration of a pathological diagnosis support system 100 in the present embodiment.
- the pathological diagnosis support system 100 acquires a microscopic image of a tissue section of a human body stained with a predetermined staining reagent, and analyzes the acquired microscopic image, thereby expressing the expression of a specific biological material in the tissue section to be observed. This is a system that outputs feature quantities quantitatively.
- the pathological diagnosis support system 100 is configured by connecting a microscope image acquisition apparatus 1A and an image processing apparatus 2A so as to be able to transmit and receive data via an interface such as a cable 3A.
- the connection method between the microscope image acquisition device 1A and the image processing device 2A is not particularly limited.
- the microscope image acquisition apparatus 1A and the image processing apparatus 2A may be connected via a LAN (Local Area Network) or may be configured to be connected wirelessly.
- LAN Local Area Network
- the microscope image acquisition apparatus 1A is a known optical microscope with a camera, and acquires a microscope image of a tissue section on a slide placed on a slide fixing stage and transmits it to the image processing apparatus 2A.
- the microscope image acquisition apparatus 1A includes an irradiation unit, an imaging unit, an imaging unit, a communication I / F, and the like.
- the irradiating means includes a light source, a filter, and the like, and irradiates light to a tissue section on the slide placed on the slide fixing stage.
- the imaging means is composed of an eyepiece lens, an objective lens, and the like, and forms an image of transmitted light, reflected light, or fluorescence emitted from the tissue section on the slide by the irradiated light.
- the imaging means is a microscope-installed camera that includes a CCD (Charge Coupled Device) sensor and the like, captures an image formed on the imaging surface by the imaging means, and generates digital image data of the microscope image.
- the communication I / F transmits image data of the generated microscope image to the image processing apparatus 2A.
- the microscope image acquisition apparatus 1A includes a bright field unit that combines an irradiation unit and an imaging unit suitable for bright field observation, and a fluorescence unit that combines an irradiation unit and an imaging unit suitable for fluorescence observation. It is possible to switch between bright field / fluorescence by switching units.
- the microscope image acquisition apparatus 1A is not limited to a microscope with a camera.
- a virtual microscope slide creation apparatus for example, a special microscope scan apparatus that acquires a microscope image of an entire tissue section by scanning a slide on a microscope slide fixing stage). Table 2002-514319
- the virtual microscope slide creation device it is possible to acquire image data that allows a display unit to view a whole tissue section on a slide at a time.
- the image processing apparatus 2A calculates the expression distribution of a specific biological material in the tissue section to be observed by analyzing the microscope image transmitted from the microscope image acquisition apparatus 1A.
- FIG. 2 shows a functional configuration example of the image processing apparatus 2A.
- the image processing apparatus 2 ⁇ / b> A includes a control unit 21, an operation unit 22, a display unit 23, a communication I / F 24, a storage unit 25, and the like, and each unit is connected via a bus 26. Yes.
- the control unit 21 includes a CPU (Central Processing Unit), a RAM (Random Access Memory), and the like.
- the control unit 21 executes various processes in cooperation with various programs stored in the storage unit 25, and performs image processing 2A. Overall control of the operation.
- the control unit 21 executes image analysis processing (see FIG. 5) in cooperation with a program stored in the storage unit 25, and functions as a first generation unit, a second generation unit, and an addition unit. Is realized.
- the operation unit 22 includes a keyboard having character input keys, numeric input keys, various function keys, and the like, and a pointing device such as a mouse, and a key pressing signal pressed by the keyboard and an operation signal by the mouse. Are output to the control unit 21 as an input signal.
- the display unit 23 includes, for example, a monitor such as a CRT (Cathode Ray Tube) or an LCD (Liquid Crystal Display), and displays various screens in accordance with display signal instructions input from the control unit 21.
- the display unit 23 functions as an output unit for outputting an image analysis result.
- the communication I / F 24 is an interface for transmitting and receiving data to and from external devices such as the microscope image acquisition device 1A.
- the communication I / F 24 functions as a bright field image and fluorescent image input unit.
- the storage unit 25 includes, for example, an HDD (Hard Disk Drive), a semiconductor nonvolatile memory, or the like. As described above, the storage unit 25 stores various programs, various data, and the like.
- the image processing apparatus 2A may include a LAN adapter, a router, and the like and be connected to an external device via a communication network such as a LAN.
- the image processing apparatus 2A in the present embodiment preferably performs analysis using the bright field image (H-stained image, HE-stained image) and the fluorescence image transmitted from the microscope image acquisition apparatus 1A.
- the bright field image is a microscope obtained by enlarging and photographing a tissue section stained with an H (hematoxylin) staining reagent and an HE (hematoxylin-eosin) staining reagent in a bright field in the microscope image acquisition apparatus 1A. It is an image, Comprising: It is a cell form image showing the form of the cell in the said tissue section.
- Hematoxylin is a blue-violet pigment that stains cell nuclei, bone tissue, part of cartilage tissue, serous components, etc.
- FIG. 3 shows an example of a bright field image obtained by photographing a tissue section subjected to HE staining.
- the fluorescent image is stained using a staining reagent including nanoparticles (referred to as fluorescent substance-containing nanoparticles) encapsulating a fluorescent substance bound with a biological substance recognition site that specifically binds and / or reacts with a specific biological substance.
- FIG. 4 shows an example of the fluorescence image.
- a method for acquiring a fluorescent image including a staining reagent (fluorescent substance-containing nanoparticles) used for acquiring the fluorescent image, a method for staining a tissue section with the staining reagent, and the like.
- fluorescent substance examples include fluorescent organic dyes and quantum dots (semiconductor particles). When excited by ultraviolet to near infrared light having a wavelength in the range of 200 to 700 nm, it preferably emits visible to near infrared light having a wavelength in the range of 400 to 1100 nm.
- fluorescent organic dyes include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes.
- fluorescent organic dyes include fluorescein dye molecules, rhodamine dye molecules, Alexa Fluor (Invitrogen) dye molecules, BODIPY (Invitrogen) dye molecules, cascade dye molecules, coumarin dye molecules, and eosin dyes.
- examples include molecules, NBD dye molecules, pyrene dye molecules, Texas Red dye molecules, cyanine dye molecules, and the like.
- quantum dots containing II-VI group compounds, III-V group compounds, or group IV elements as components ("II-VI group quantum dots”, "III-V group quantum dots”, " Or “Group IV quantum dots”). You may use individually or what mixed multiple types.
- CdSe CdS, CdS, CdTe, ZnSe, ZnS, ZnTe, InP, InN, InAs, InGaP, GaP, GaAs, Si, and Ge, but are not limited thereto.
- a quantum dot having the above quantum dot as a core and a shell provided thereon.
- CdSe / ZnS when the core is CdSe and the shell is ZnS, it is expressed as CdSe / ZnS.
- CdSe / ZnS, CdS / ZnS, InP / ZnS, InGaP / ZnS, Si / SiO 2 , Si / ZnS, Ge / GeO 2 , Ge / ZnS, and the like can be used, but are not limited thereto.
- the quantum dots those subjected to surface treatment with an organic polymer or the like may be used as necessary. Examples thereof include CdSe / ZnS having a surface carboxy group (manufactured by Invitrogen), CdSe / ZnS having a surface amino group (manufactured by Invitrogen), and the like.
- the fluorescent substance-encapsulating nanoparticles are those in which the fluorescent substance is dispersed inside the nanoparticles, whether the fluorescent substance and the nanoparticles themselves are chemically bonded or not. Good.
- the material constituting the nanoparticles is not particularly limited, and examples thereof include polystyrene, polylactic acid, silica, and melamine.
- Fluorescent substance-containing nanoparticles used in the present embodiment can be produced by a known method.
- silica nanoparticles encapsulating a fluorescent organic dye can be synthesized with reference to the synthesis of FITC-encapsulated silica particles described in Langmuir 8, Vol. 2921 (1992).
- Various fluorescent organic dye-containing silica nanoparticles can be synthesized by using a desired fluorescent organic dye in place of FITC.
- Silica nanoparticles encapsulating quantum dots can be synthesized with reference to the synthesis of CdTe-encapsulated silica nanoparticles described in New Journal of Chemistry, Vol. 33, p. 561 (2009).
- Polystyrene nanoparticles encapsulating a fluorescent organic dye may be copolymerized using an organic dye having a polymerizable functional group described in US Pat. No. 4,326,008 (1982) or polystyrene described in US Pat. No. 5,326,692 (1992). It can be produced using a method of impregnating nanoparticles with a fluorescent organic dye.
- Polymer nanoparticles encapsulating quantum dots can be prepared using the method of impregnating polystyrene nanoparticles with quantum dots described in Nature Biotechnology, Vol. 19, page 631 (2001).
- the average particle diameter is obtained by taking an electron micrograph using a scanning electron microscope (SEM), measuring the cross-sectional area of a sufficient number of particles, and taking each measured value as the area of the circle. As sought. In the present application, the arithmetic average of the particle sizes of 1000 particles is defined as the average particle size. The coefficient of variation was also a value calculated from the particle size distribution of 1000 particles.
- the biological material recognition site is a site that specifically binds and / or reacts with the target biological material.
- the target biological substance is not particularly limited as long as a substance that specifically binds to the target biological substance exists, but typically, protein (peptide), nucleic acid (oligonucleotide, polynucleotide), antibody, etc. Is mentioned. Accordingly, substances that bind to the target biological substance include antibodies that recognize the protein as an antigen, other proteins that specifically bind to the protein, and nucleic acids having a base sequence that hybridizes to the nucleic acid. Is mentioned.
- an anti-HER2 antibody that specifically binds to HER2 which is a protein present on the cell surface
- an anti-ER antibody that specifically binds to an estrogen receptor (ER) present in the cell nucleus and actin that forms a cytoskeleton
- an anti-actin antibody that specifically binds to are preferable.
- the mode of binding between the biological substance recognition site and the fluorescent substance-encapsulating nanoparticles is not particularly limited, and examples thereof include covalent bonding, ionic bonding, hydrogen bonding, coordination bonding, physical adsorption, and chemical adsorption.
- a bond having a strong bonding force such as a covalent bond is preferred from the viewpoint of bond stability.
- an organic molecule that connects between the biological substance recognition site and the fluorescent substance-containing nanoparticle.
- a polyethylene glycol chain can be used, and SM (PEG) 12 manufactured by Thermo Scientific can be used.
- a silane coupling agent that is a compound widely used for bonding an inorganic substance and an organic substance can be used.
- This silane coupling agent is a compound having an alkoxysilyl group that gives a silanol group by hydrolysis at one end of the molecule and a functional group such as a carboxyl group, an amino group, an epoxy group, an aldehyde group at the other end, Bonding with an inorganic substance through an oxygen atom of the silanol group.
- silane coupling agent having a polyethylene glycol chain for example, PEG-silane no. SIM6492.7 manufactured by Gelest
- silane coupling agent you may use 2 or more types together.
- a publicly known method can be used for the reaction procedure of the fluorescent organic dye-encapsulated silica nanoparticles and the silane coupling agent.
- the obtained fluorescent organic dye-encapsulated silica nanoparticles are dispersed in pure water, aminopropyltriethoxysilane is added, and the mixture is reacted at room temperature for 12 hours.
- fluorescent organic dye-encapsulated silica nanoparticles whose surface is modified with an aminopropyl group can be obtained by centrifugation or filtration.
- the antibody can be bound to the fluorescent organic dye-encapsulated silica nanoparticles via an amide bond.
- a condensing agent such as EDC (1-Ethyl-3- [3-Dimethylaminopropyl] carbohydrate, Hydrochloride: manufactured by Pierce (registered trademark)
- EDC 1-Ethyl-3- [3-Dimethylaminopropyl] carbohydrate, Hydrochloride: manufactured by Pierce (registered trademark)
- a linker compound having a site that can be directly bonded to the fluorescent organic dye-encapsulated silica nanoparticles modified with organic molecules and a site that can be bonded to the molecular target substance can be used.
- sulfo-SMCC Sulfosuccinimidyl 4 [N-maleimidomethyl] -cyclohexane-1-carboxylate: manufactured by Pierce
- sulfo-SMCC Sulfosuccinimidyl 4 [N-maleimidomethyl] -cyclohexane-1-carboxylate: manufactured by Pierce
- fluorescent substance-encapsulated polystyrene nanoparticles When binding a biological material recognition site to fluorescent substance-encapsulated polystyrene nanoparticles, the same procedure can be applied regardless of whether the fluorescent substance is a fluorescent organic dye or a quantum dot. That is, by impregnating a fluorescent organic dye or quantum dot into polystyrene nanoparticles having a functional group such as an amino group, fluorescent substance-containing polystyrene nanoparticles having a functional group can be obtained, and thereafter using EDC or sulfo-SMCC. Thus, antibody-bound fluorescent substance-encapsulated polystyrene nanoparticles can be produced.
- Antibodies that recognize specific antigens include M. actin, MS actin, SM actin, ACTH, Alk-1, ⁇ 1-antichymotrypsin, ⁇ 1-antitrypsin, AFP, bcl-2, bcl-6, ⁇ -catenin, BCA 225, CA19-9, CA125, calcitonin, carretini, CD1a, CD3, CD4, CD5, CD8, CD10, CD15, CD20, CD21, CD23, CD30, CD31, CD34, CD43, CD45, CD45R, CD56, CD57, CD61, CD68, CD79a, "CD99, MIC2", CD138, chromogranin, c-KIT, c-MET, collagen type IV, Cox-2, cyclin D1, keratin, cytokeratin (high molecular weight), pankeratin, pankeratin, cytokeratin 5/6, cytokeratin 7, cytokeratin 8, cytokeratin 8
- the pathological section is immersed in a container containing xylene to remove paraffin.
- the temperature is not particularly limited, but can be performed at room temperature.
- the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, xylene may be exchanged during the immersion.
- the pathological section is immersed in a container containing ethanol to remove xylene.
- the temperature is not particularly limited, but can be performed at room temperature.
- the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. Further, if necessary, ethanol may be exchanged during the immersion.
- the pathological section is immersed in a container containing water to remove ethanol.
- the temperature is not particularly limited, but can be performed at room temperature.
- the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. Moreover, you may exchange water in the middle of immersion as needed.
- the activation process of the target biological substance is performed according to a known method.
- the activation conditions are not particularly defined, but as the activation liquid, 0.01 M citrate buffer (pH 6.0), 1 mM EDTA solution (pH 8.0), 5% urea, 0.1 M Tris-HCl buffer, etc. are used. be able to.
- As the heating device an autoclave, a microwave, a pressure cooker, a water bath, or the like can be used.
- the temperature is not particularly limited, but can be performed at room temperature. The temperature can be 50-130 ° C. and the time can be 5-30 minutes.
- the section after the activation treatment is immersed in a container containing PBS (Phosphate Buffered Saline) and washed.
- PBS Phosphate Buffered Saline
- the temperature is not particularly limited, but can be performed at room temperature.
- the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, the PBS may be replaced during the immersion.
- each fluorescent substance-encapsulating nanoparticle PBS dispersion may be mixed in advance or separately placed on a pathological section separately. Also good.
- the temperature is not particularly limited, but can be performed at room temperature.
- the reaction time is preferably 30 minutes or more and 24 hours or less.
- a known blocking agent such as BSA-containing PBS
- the stained section is immersed in a container containing PBS, and unreacted fluorescent substance-containing nanoparticles are removed.
- the temperature is not particularly limited, but can be performed at room temperature.
- the immersion time is preferably 3 minutes or longer and 30 minutes or shorter. If necessary, the PBS may be replaced during the immersion.
- a cover glass is placed on the section and sealed. A commercially available encapsulant may be used as necessary.
- staining using a HE dyeing reagent HE dyeing is performed before enclosure with a cover glass.
- Fluorescence image acquisition A wide-field microscope image (fluorescence image) is acquired from the stained pathological section using the microscope image acquisition device 1A.
- an excitation light source and a fluorescence detection optical filter corresponding to the absorption maximum wavelength and fluorescence wavelength of the fluorescent material used for the staining reagent are selected.
- the visual field of the fluorescent image is preferably 3 mm 2 or more, more preferably 30 mm 2 or more, and further preferably 300 mm 2 or more.
- ⁇ Operation of Pathological Diagnosis Support System 100 (Including Image Processing Method)>
- staining is performed using a staining reagent including fluorescent substance-encapsulating nanoparticles bound to a biological substance recognition site that recognizes a specific protein (here, Ki67 protein in breast cancer tissue, hereinafter referred to as a specific protein).
- a specific protein here, Ki67 protein in breast cancer tissue, hereinafter referred to as a specific protein.
- the present invention is not limited to this example.
- the operator uses two types of staining reagents, a hematoxylin staining reagent and a staining reagent using fluorescent substance-encapsulated nanoparticles bound with a biological substance recognition site that recognizes a specific protein as a fluorescent labeling material. Stain. Thereafter, in the microscope image acquisition apparatus 1A, a bright field image and a fluorescence image are acquired by the procedures (a1) to (a5). (A1) The operator places the tissue sections stained with the hematoxylin staining reagent and the staining reagent containing the fluorescent substance-containing nanoparticles on the slide, and places the slide on the slide fixing stage of the microscope image acquisition apparatus 1A. .
- (A2) Set to the bright field unit, adjust the imaging magnification and focus, and place the observation target area on the tissue in the field of view.
- (A3) Shooting is performed by the imaging unit to generate bright field image data, and the image data is transmitted to the image processing apparatus 2A.
- (A4) Change the unit to a fluorescent unit.
- (A5) Shooting is performed by the imaging means without changing the field of view and the shooting magnification to generate image data of a fluorescent image, and the image data is transmitted to the image processing apparatus 2A.
- FIG. 5 shows a flowchart of image analysis processing in the image processing apparatus 2A.
- the image analysis processing shown in FIG. 5 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
- step S1 when a bright field image is input from the microscope image acquisition device 1A through the communication I / F 24 (step S1), a cell nucleus region is extracted from the bright field image (step S2).
- FIG. 6 shows a detailed flow of the process in step S2. The process of step S2 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
- step S2 first, a bright-field image is converted into a monochrome image (step S201).
- FIG. 7A shows an example of a bright field image.
- threshold processing is performed on the monochrome image using a predetermined threshold, and the value of each pixel is binarized (step S202).
- noise processing is performed (step S203).
- the noise process can be performed by performing a closing process on the binary image.
- the closing process is a process in which the contraction process is performed the same number of times after the expansion process is performed.
- the expansion process is a process of replacing a target pixel with white when at least one pixel in the range of n ⁇ n pixels (n is an integer of 2 or more) from the target pixel is white.
- the contraction process is a process of replacing a target pixel with black when at least one pixel in the range of n ⁇ n pixels from the target pixel contains black.
- FIG. 7B shows an example of an image after noise processing. As shown in FIG. 7B, after noise processing, an image (cell nucleus image) from which cell nuclei are extracted is generated.
- the labeling process is a process for identifying an object in an image by assigning the same label (number) to connected pixels. By labeling, each cell nucleus can be identified from the image after noise processing and a label can be applied.
- step S3 when a fluorescent image is input from the microscope image acquisition apparatus 1A through the communication I / F 24 (step S3), fluorescent substance-containing nanoparticles (hereinafter simply referred to as “fluorescent particles”) are extracted from the fluorescent image. (Step S4).
- FIG. 8 shows a detailed flow of the process in step S4. The process of step S4 is executed in cooperation with the control unit 21 and the program stored in the storage unit 25.
- step S4 first, a color component corresponding to the wavelength of the fluorescent bright spot is extracted from the fluorescent image (step S401).
- FIG. 9A shows an example of a fluorescence image.
- step S401 for example, when the emission wavelength of the fluorescent particles is 550 nm, only the fluorescent bright spot having the wavelength component is extracted as an image.
- threshold processing is performed on the extracted image, a binarized image is generated, and a bright spot region is extracted (step S402).
- noise removal processing such as cell autofluorescence and other unnecessary signal components may be performed before the threshold processing, and a low-pass filter such as a Gaussian filter or a high-pass filter such as a second derivative is preferably used.
- FIG. 9B shows an example of an image from which the bright spot region is extracted. As shown in FIG. 9B, a bright spot region centered on the fluorescent bright spot is extracted from such an image.
- the “luminance profile” is two-dimensional distribution information of luminance signal values created based on an image extracted from a fluorescence image using an image from which the luminescent spot region is extracted as a mask. This range (brightness distribution spread) is shown. That is, as shown in FIG. 10, when an image in which a bright spot area is extracted from a fluorescent image is generated (FIG. 10A), an image in which a bright spot area is extracted for each bright spot area (FIG. 10B (FIG.
- one bright spot region includes one or a plurality of fluorescent particles, and the luminance profile indicates the luminance and range according to the number of fluorescent particles and the position of each fluorescent particle. . From the luminance profile, the number of fluorescent particles and the position of each fluorescent particle in the bright spot region are calculated.
- the luminance profile may be one in which the luminance at the X coordinate position and the Y coordinate position is expressed two-dimensionally as shown in FIG. 10E, or as shown in FIG. 10F.
- the luminance (height) at the Y coordinate position (vertical) may be expressed three-dimensionally. Since it is easier to visualize and grasp the luminance profile in the three-dimensional representation of FIG. 10F, the following description will be made using the luminance profile as shown in FIG. 10F.
- a luminance profile for one fluorescent particle is created in advance from a single fluorescent particle photographed under the same image capturing conditions as the input fluorescent image, and the number of fluorescent particles in the luminance profile and its The coordinate position is set as an initial value (reference).
- FIG. 11A shows an example of the luminance profile for one fluorescent particle
- FIG. 11B shows the results calculated from the luminance profile (the number of fluorescent particles and the coordinate position of each fluorescent particle on the XY plane).
- the luminance profile for one known fluorescent particle is set as a “reference profile”, and the reference profile is compared with the luminance profile of the luminescent spot region for each luminescent spot region. The number of fluorescent particles and the position of each fluorescent particle are calculated.
- the luminance profiles of FIGS. 12A, 12C, 13A, and 13C are Assume that it was created.
- the reference profile of FIG. 11A is compared with the brightness profiles of FIGS. 12A, 12C, 13A, and 13C, and the brightness (vertex height) in the reference profile and its range (spread and gradient near the vertex) are compared. ) And the like, the number and the coordinate position are calculated as the fluorescent particle information.
- FIG. 11A the luminance profiles of FIGS. 12A, 12C, 13A, and 13C
- the number of vertices in the luminance profile is two, one vertex is high and spreads near the vertex, and the other vertex has a height and a spread or gradient near the vertex of the reference profile.
- the number of fluorescent particles is three, of which two fluorescent particles are present at regular intervals, and the remaining one fluorescent particle is isolated at a position apart from each other. It is determined that it exists. In this way, even when there are a plurality of fluorescent particles, if the reference profile is created and the number and coordinate position of the fluorescent particles are set in advance, the number of fluorescent particles in the bright spot region and the position of each fluorescent particle Can be easily discriminated.
- FIG. 9C shows an image (fluorescent particle image) in which the number of fluorescent particles in each bright spot region and the position of each fluorescent particle are calculated and the fluorescent particles are extracted.
- the number and position of the fluorescent particles are determined using the luminance profile for one fluorescent particle as a reference profile
- a luminance profile composed of a plurality of fluorescent particles is prepared in advance, and this is used as a reference profile to determine the number of fluorescent particles.
- the position may be determined, or the luminance profile itself composed of a plurality of fluorescent particles may be subjected to processing such as two-dimensional Fourier transform to decompose the waveform, and the number and position of the fluorescent particles may be determined. .
- step S405 a labeling process is performed on the fluorescent particle image, and a label is given to each of the extracted fluorescent particles.
- step S2 and step S4 After the process of step S2 and step S4 is complete
- finished it returns to the process of FIG. 5, the addition process of a cell nucleus image (refer FIG. 7B) and a fluorescent particle image (refer FIG. 9C) is performed (step S5), and on a cell nucleus
- the distribution of the fluorescent particles is displayed (step S6).
- FIG. 14 shows an example of the duplicate image after the addition process.
- FIG. 15 shows an example of the distribution of fluorescent particles on the cell nucleus.
- the extracted fluorescent particles are superimposed on the extracted cell nucleus.
- fluorescent particles are displayed for each bright spot region on each cell nucleus.
- one fluorescent particle calculated from the luminance profile of FIG. 12A is “1”
- two fluorescent particles calculated from the luminance profile of FIG. 12C are “2”
- Three fluorescent particles calculated from the profile are displayed as “3”
- three fluorescent particles calculated from the luminance profile of FIG. 13C are displayed as “4”, respectively.
- the image corresponding to the enlarged part in FIG. 14 is actually displayed on the display unit 23 of the image processing apparatus 2A as shown in FIG. 15, and the number of fluorescent particles on the specific part (cell nucleus) in the observation target cell or
- the position of each fluorescent particle is specifically displayed and grasped as a distribution.
- the number of fluorescent particles overlapping on the cell nucleus and the position (distribution) of each fluorescent particle indicate the expression status of a specific protein that is an index of cancer malignancy and progression.
- the cell nucleus 30 is extracted by the process of steps S1-S2, the bright spot region 40 is extracted by the process of steps S3-S4 (S401-S402), and thereafter
- the distribution of the fluorescent particles 42 on the cell nucleus 30 is specifically displayed and grasped by the processing of steps S403 to S404. Therefore, it is possible to accurately quantify the expression (number of expression and expression position) of a specific protein in the cell to be observed by a simple method, and it has been difficult to analyze from the fluorescence spot image so far. Thus, it has become possible to accurately evaluate the presence of the biological substance in the quantification and observation target cells.
- the location of a biological substance on a cell is presumed to be particularly related to malignancy such as invasiveness and progression of cancer. According to this embodiment, the metastasis status of cancer and the activity of cancer are visualized. It is possible to contribute to the prevention of cancer and the decision of treatment policy.
- Ki67 protein in breast cancer has been mentioned as an example of the specific protein, but is not limited thereto.
- the biological material recognition site when acquiring a fluorescence image is different, the feature quantity that quantitatively indicates the expression level of the specific protein corresponding to the lesion type It can be provided to a doctor.
- each color component is extracted using filter work or the like in step S401, and the processing of steps 402 to S405 is executed for each extracted color component (wavelength component).
- step S5 the cell nucleus image and the color component are extracted. What is necessary is just to add with the fluorescent particle image produced for every.
- step S6 the distribution of the fluorescent particles is displayed for each type of fluorescent particles (for each specific protein), and the proximity of each specific protein is also displayed along with the expression status of the specific protein on the cell nucleus. Can do. According to such processing, as shown in FIG.
- the cell nucleus 30 is extracted by the processing of steps S1-S2, and the bright spot regions 50, 52 are extracted by the processing of steps S3-S4 (S401-S402).
- the distribution of the fluorescent particles 60 and 62 can be displayed for each specific protein by the processing of steps S403 to S404.
- an HDD or a semiconductor non-volatile memory is used as a computer-readable medium of the program according to the present invention, but the present invention is not limited to this example.
- a portable recording medium such as a CD-ROM can be applied.
- a carrier wave carrier wave is also applied as a medium for providing program data according to the present invention via a communication line.
- A Preparation of staining reagent a
- A-1 Preparation of fluorescent substance-encapsulated nanoparticles (nanoparticle 1; red melamine particles)
- SulfoRhodamine 101 manufactured by Sigma Aldrich
- 2 mL of a 5% aqueous solution of an emulsion (registered trademark) 430 (polyoxyethylene oleyl ether, manufactured by Kao Corporation) of an emulsifier for emulsion polymerization was added to this solution. This solution was heated to 70 ° C.
- the mixture was centrifuged at 20000 G for 15 minutes in a centrifuge (Kubota Micro Cooling Centrifuge 3740), and after removing the supernatant, ultrapure water was added and ultrasonically irradiated to redisperse. Centrifugation, supernatant removal, and washing by redispersion in ultrapure water were repeated 5 times.
- the obtained melamine particles were positively charged because the melamine resin itself contains many amino groups in the skeleton.
- the charge of the resin particles was evaluated by analyzing resin components by NMR, IR, etc. and measuring zeta potential.
- the obtained dye-binding nanoparticles were adjusted to 3 nM using PBS (phosphate buffered saline) containing 2 mM of EDTA (ethylenediaminetetraacetic acid), and SM (PEG) was added to this solution to a final concentration of 10 mM. ) 12 (manufactured by Thermo Scientific, succinimidyl-[(N-maleidopropionamid) -dodecaethyleneglycol] ester) was mixed and allowed to react for 1 hour. The mixture was centrifuged at 10,000 G for 20 minutes, the supernatant was removed, PBS containing 2 mM of EDTA was added, the precipitate was dispersed, and centrifuged again. By performing washing by the same procedure three times, fluorescent dye-encapsulated nanoparticles having a maleimide group at the end were obtained.
- PBS phosphate buffered saline
- EDTA ethylenediaminetetraacetic acid
- SM
- streptavidin manufactured by Wako Pure Chemical Industries, Ltd.
- streptavidin was subjected to thiol group addition treatment using N-succinimidyl S-acetylthioacetate (SATA), and then filtered through a gel filtration column to form maleimide groups contained in the fluorescent dye-containing nanoparticles.
- SATA N-succinimidyl S-acetylthioacetate
- a bindable streptavidin solution was obtained.
- the dye-binding nanoparticles having a maleimide group at the end and streptavidin were mixed in PBS containing 2 mM EDTA and allowed to react for 1 hour. 10 mM mercaptoethanol was added to stop the reaction.
- Nanoparticles 1 were observed with a scanning electron microscope (SEM; Model S-800, manufactured by Hitachi (registered trademark)). As a result, the average particle size was 150 nm and the coefficient of variation was 12%.
- Step (1) 1 mg of nanoparticles 1 was dispersed in 5 mL of pure water. Next, 100 ⁇ L of aminopropyltriethoxysilane aqueous dispersion (LS-3150, manufactured by Shin-Etsu Chemical Co., Ltd.) was added and stirred at room temperature for 12 hours. Step (2): The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed. Step (3): Ethanol was added to disperse the sediment, followed by centrifugation again. Washing with ethanol and pure water was performed once by the same procedure. When the FT-IR measurement of the resulting amino group-modified nanoparticles was performed, absorption derived from the amino group could be observed, confirming that the amino group was modified.
- Step (2) The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed.
- Step (3) Ethanol was added to disperse the sediment, followed by centrifugation again. Washing with ethanol and pure water was performed
- Step (4) The amino group-modified nanoparticles obtained in step (3) were adjusted to 3 nM using PBS containing 2 mM of EDTA (ethylenediaminetetraacetic acid).
- Step (7) PBS containing 2 mM of EDTA was added, the precipitate was dispersed, and centrifuged again. The washing
- Step (8) When 100 ⁇ g of anti-Ki67 antibody was dissolved in 100 ⁇ L of PBS, 1 M dithiothreitol (DTT) was added and reacted for 30 minutes.
- Step (10) Using the nanoparticle 1 as a starting material, the particle dispersion obtained in step (7) and the reduced anti-Ki67 antibody solution obtained in step (9) are mixed in PBS and allowed to react for 1 hour. It was. Step (11): 4 ⁇ L of 10 mM mercaptoethanol was added to stop the reaction. Step (12): The reaction mixture was centrifuged at 10,000 G for 60 minutes, and the supernatant was removed. Then, PBS containing 2 mM of EDTA was added, the precipitate was dispersed, and centrifuged again. The washing
- staining reagent a Fluorescent substance-encapsulated nanoparticles bound with anti-Ki67 antibody obtained using nanoparticles 1 as a starting material are referred to as “staining reagent a”.
- Step (1) The pathological section was immersed in a container containing xylene for 30 minutes. The xylene was changed three times during the process.
- Step (2) The pathological section was immersed in a container containing ethanol for 30 minutes. The ethanol was changed three times during the process.
- Step (3) The pathological section was immersed in a container containing water for 30 minutes. The water was changed three times along the way.
- Step (6) The section after autoclaving was immersed in a container containing PBS for 30 minutes.
- Step (7) PBS containing 1% BSA was placed on the tissue and left for 1 hour.
- Step (8) Staining reagent a bound with anti-Ki67 antibody diluted to 0.05 nM with PBS containing 1% BSA was placed on a tissue section and left for 3 hours.
- Step (10) After fixing with a 4% neutral paraformaldehyde solution for 10 minutes, hematoxylin staining was performed.
- Step (11) Aquex made by Merck Chemicals was dropped, and then a cover glass was placed and enclosed.
- the tissue was reacted with an anti-Ki67 monoclonal antibody which is a primary antibody, and then reacted with a 0.8 nm gold colloid-labeled secondary antibody as a secondary antibody. Subsequently, the particle diameter of the gold colloid was amplified with a silver sensitizing reagent, and the gold colloid was visualized.
- the obtained specimen was fixed with 1% osmium tetroxide after 1 hour at 4 ° C., dehydrated with ethanol ascending series, freeze-dried with t-butyl alcohol (JFD-300, JEOL; Tokyo), and ion sputtered E- Palladium deposition was performed at 1010 (Hitachi High-Tech; Tokyo), and immunological SEM observation was performed with a Hitachi scanning electron microscope S-3000N.
- the image analysis processing of FIG. 5 is performed on the obtained image, and the number and position of the nanoparticles 1 are calculated based on the luminance profile.
- the distribution of Ki67 protein is displayed on the cell. I was able to. The distribution coincided with the expression position by immuno SEM observation using colloidal gold, and the position information of the biological substance could be obtained by a simple method.
- A-2) Binding of antibody to fluorescent substance-encapsulating nanoparticles
- nanoparticle 2 was used instead of nanoparticle 1
- anti-Ki67 antibody was used instead of anti-Ki67 antibody.
- a fluorescent substance-encapsulating nanoparticle bound with an anti-p53 antibody was obtained in the same manner except that the p53 antibody was used.
- a fluorescent substance-encapsulated nanoparticle bound with an anti-p53 antibody obtained using the nanoparticle 2 as a starting material is referred to as “staining reagent b”.
- the present invention relates to an image processing technique for pathological diagnosis, and can be suitably used to accurately quantify the expression of a specific protein in a cell to be observed by a simple method.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Chemical & Material Sciences (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Medicinal Chemistry (AREA)
- Hematology (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Analytical Chemistry (AREA)
- Optics & Photonics (AREA)
- Urology & Nephrology (AREA)
- Food Science & Technology (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Surgery (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
Description
しかし、当該方法では、多数の生体物質が同一細胞上の特定の狭い領域に存在する場合には、発光部分が互いに重なり合い、輝度レベルから細胞上の生体物質の数やその細胞上における生体物質の位置情報まで正確に得ることはできない。
これに対し、特許文献2には、蛍光粒子を用いて組織切片を染色し、共焦点顕微鏡を用いて蛍光輝点を計測し、1細胞当たりの輝点数を算出する方法が開示されている(実施例1-2参照)。
したがって、本発明の主な目的は、簡易な方法で観察対象細胞内での特定のタンパク質の発現(発現数とその発現位置)を正確に定量することができる画像処理装置を提供することにあり、併せて当該画像処理装置を利用する病理診断支援システム、画像処理プログラム及び画像処理方法を提供することにある。
組織切片における細胞の形態を表す明視野画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段と、
前記明視野画像から細胞の特定部位が抽出された細胞画像を生成する第1の生成手段と、
前記蛍光画像から輝点領域が抽出された画像を生成し、輝点領域ごとに輝度プロファイルを作成し、蛍光輝点源となる蛍光粒子1個分の蛍光プロファイルに基づき、前記輝点領域における蛍光粒子が抽出された蛍光粒子画像を生成する第2の生成手段と、
前記細胞画像と前記蛍光粒子画像とを重ね合わせる加算手段と、
を有することを特徴とする画像処理装置が提供される。
前記画像処理装置と、
前記画像処理装置で使用される、前記明視野画像と前記蛍光画像とを取得する画像取得装置と、
を備えることを特徴とする病理診断支援システムが提供される。
コンピュータを、
組織切片における細胞の形態を表す明視野画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段、
前記明視野画像から細胞の特定部位が抽出された細胞画像を生成する第1の生成手段、
前記蛍光画像から輝点領域が抽出された画像を生成し、輝点領域ごとに輝度プロファイルを作成し、蛍光輝点源となる蛍光粒子1個分の蛍光プロファイルに基づき、前記輝点領域における蛍光粒子が抽出された蛍光粒子画像を生成する第2の生成手段、
前記細胞画像と前記蛍光粒子画像とを重ね合わせる加算手段、
として機能させるための画像処理プログラムが提供される。
組織切片における細胞の形態を表す明視野画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力工程と、
前記明視野画像から細胞の特定部位が抽出された細胞画像を生成する第1の生成工程と、
前記蛍光画像から輝点領域が抽出された画像を生成し、輝点領域ごとに輝度プロファイルを作成し、蛍光輝点源となる蛍光粒子1個分の蛍光プロファイルに基づき、前記輝点領域における蛍光粒子が抽出された蛍光粒子画像を生成する第2の生成工程と、
前記細胞画像と前記蛍光粒子画像とを重ね合わせる加算工程と、
を有することを特徴とする画像処理方法が提供される。
図1に、本実施の形態における病理診断支援システム100の全体構成例を示す。病理診断支援システム100は、所定の染色試薬で染色された人体の組織切片の顕微鏡画像を取得し、取得された顕微鏡画像を解析することにより、観察対象の組織切片における特定の生体物質の発現を定量的に表す特徴量を出力するシステムである。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像の画像データを画像処理装置2Aに送信する。本実施の形態において、顕微鏡画像取得装置1Aは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、ユニットを切り替えることにより明視野/蛍光を切り替えることが可能である。
図2に、画像処理装置2Aの機能構成例を示す。図2に示すように、画像処理装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
その他、画像処理装置2Aは、LANアダプターやルーター等を備え、LAN等の通信ネットワークを介して外部機器と接続される構成としてもよい。
明視野画像は、H(ヘマトキシリン)染色試薬、HE(ヘマトキシリン-エオジン)染色試薬を用いて染色された組織切片を、顕微鏡画像取得装置1Aにおいて明視野で拡大結像及び撮影することにより得られる顕微鏡画像であって、当該組織切片における細胞の形態を表す細胞形態画像である。ヘマトキシリンは青紫色の色素であり、細胞核、骨組織、軟骨組織の一部、漿液成分など(好塩基性の組織等)を染色する。エオジンは赤~ピンク色の色素であり、細胞質、軟部組織の結合組織、赤血球、線維素、内分泌顆粒など(好酸性の組織等)を染色する。図3に、HE染色を行った組織切片を撮影した明視野画像の一例を示す。
蛍光画像は、特定の生体物質と特異的に結合及び/又は反応する生体物質認識部位が結合した蛍光物質を内包したナノ粒子(蛍光物質内包ナノ粒子と呼ぶ)を含む染色試薬を用いて染色された組織切片に対し、顕微鏡画像取得装置1Aにおいて所定波長の励起光を照射して蛍光物質内包ナノ粒子を発光(蛍光)させ、この蛍光を拡大結像及び撮影することにより得られる顕微鏡画像である。即ち、蛍光画像に現れる蛍光は、組織切片における、生体物質認識部位に対応する特定の生体物質の発現を示すものである。図4に、蛍光画像の一例を示す。
ここで、蛍光画像の取得方法について、この蛍光画像の取得に際して用いられる染色試薬(蛍光物質内包ナノ粒子)、染色試薬による組織切片の染色方法等も含めて詳細に説明する。
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200~700nmの範囲内の波長の紫外~近赤外光により励起されたときに、400~1100nmの範囲内の波長の可視~近赤外光の発光を示すことが好ましい。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)等が挙げられる。
本実施の形態において蛍光物質内包ナノ粒子とは、蛍光物質がナノ粒子内部に分散されたものをいい、蛍光物質とナノ粒子自体とが化学的に結合していても、結合していなくてもよい。
ナノ粒子を構成する素材は特に限定されるものではなく、ポリスチレン、ポリ乳酸、シリカ、メラミン等を挙げることができる。
本実施の形態に係る生体物質認識部位とは、目的とする生体物質と特異的に結合及び/又は反応する部位である。目的とする生体物質は、それと特異的に結合する物質が存在するものであれば特に限定されるものではないが、代表的にはタンパク質(ペプチド)および核酸(オリゴヌクレオチド、ポリヌクレオチド)、抗体等が挙げられる。したがって、そのような目的とする生体物質に結合する物質としては、前記タンパク質を抗原として認識する抗体やそれに特異的に結合する他のタンパク質等、および前記核酸にハイブリタイズする塩基配列を有する核酸等が挙げられる。具体的には、細胞表面に存在するタンパク質であるHER2に特異的に結合する抗HER2抗体、細胞核に存在するエストロゲン受容体(ER)に特異的に結合する抗ER抗体、細胞骨格を形成するアクチンに特異的に結合する抗アクチン抗体等があげられる。中でも抗HER2抗体及び抗ER抗体を蛍光物質内包ナノ粒子に結合させたものは、乳癌の投薬選定に用いることができ、好ましい。
以下、組織切片の染色方法について述べる。以下に説明する染色方法は病理切片組織に限定せず、細胞染色にも適用可能である。
また、以下に説明する染色方法が適用できる切片の作製法は特に限定されず、公知の方法により作製されたものを用いることができる。
キシレンを入れた容器に病理切片を浸漬させ、パラフィンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でキシレンを交換してもよい。
次いで、エタノールを入れた容器に病理切片を浸漬させ、キシレンを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でエタノールを交換してもよい。
次いで、水を入れた容器に病理切片を浸漬させ、エタノールを除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中で水を交換してもよい。
公知の方法にならい、目的とする生体物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01Mクエン酸緩衝液(pH6.0)、1mMEDTA溶液(pH8.0)、5%尿素、0.1Mトリス塩酸緩衝液等を用いることができる。加熱機器は、オートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバス等を用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50-130℃、時間は5-30分で行うことができる。
次いで、PBS(Phosphate Buffered Saline:リン酸緩衝生理食塩水)を入れた容器に、賦活化処理後の切片を浸漬させ、洗浄を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。
生体物質認識部位が結合された蛍光物質内包ナノ粒子のPBS分散液を病理切片に載せ、目的とする生体物質と反応させる。蛍光物質内包ナノ粒子と結合させる生体物質認識部位を変えることにより、さまざまな生体物質に対応した染色が可能となる。数種類の生体物質認識部位が結合された蛍光物質内包ナノ粒子を用いる場合には、それぞれの蛍光物質内包ナノ粒子PBS分散液を予め混合しておいてもよいし、別々に順次病理切片に載せてもよい。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
蛍光物質内包ナノ粒子による染色を行う前に、BSA含有PBS等、公知のブロッキング剤を滴下することが好ましい。
次いで、PBSを入れた容器に、染色後の切片を浸漬させ、未反応蛍光物質内包ナノ粒子の除去を行う。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また、必要により浸漬途中でPBSを交換してもよい。カバーガラスを切片に載せ、封入する。必要に応じて市販の封入剤を使用してもよい。
なお、HE染色試薬を用いて染色を行う場合、カバーガラスによる封入前にHE染色を行う。
染色した病理切片に対し顕微鏡画像取得装置1Aを用いて、広視野の顕微鏡画像(蛍光画像)を取得する。顕微鏡画像取得装置1Aにおいて、染色試薬に用いた蛍光物質の吸収極大波長及び蛍光波長に対応した励起光源及び蛍光検出用光学フィルターを選択する。
蛍光画像の視野は、3mm2以上であることが好ましく、30mm2以上であることがさらに好ましく、300mm2以上であることがさらに好ましい。
以下、病理診断支援システム100において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について説明する。ここでは、特定のタンパク質(ここでは、乳癌組織におけるKi67タンパクとする。以下、特定タンパクと呼ぶ。)を認識する生体物質認識部位が結合した蛍光物質内包ナノ粒子を含む染色試薬を用いて染色された組織切片を観察対象とする場合を例にとり説明するが、これに限定されるものではない。
その後、顕微鏡画像取得装置1Aにおいて、(a1)~(a5)の手順により明視野画像及び蛍光画像が取得される。
(a1)操作者は、ヘマトキシリン染色試薬と蛍光物質内包ナノ粒子を含む染色試薬とによりそれぞれ染色された組織切片をスライドに載置し、そのスライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率、ピントの調整を行い、組織上の観察対象の領域を視野に納める。
(a3)撮像手段で撮影を行って明視野画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野及び撮影倍率を変えずに撮像手段で撮影を行って蛍光画像の画像データを生成し、画像処理装置2Aに画像データを送信する。
図5に、画像処理装置2Aにおける画像解析処理のフローチャートを示す。図5に示す画像解析処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
図6に、ステップS2における処理の詳細フローを示す。ステップS2の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
次いで、モノクロ画像に対し予め定められた閾値を用いて閾値処理が施され、各画素の値が二値化される(ステップS202)。
図8に、ステップS4における処理の詳細フローを示す。ステップS4の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
図9Aに、蛍光画像の一例を示す。
ステップS401では、たとえば、蛍光粒子の発光波長が550nmである場合には、その波長成分を有する蛍光輝点のみが画像として抽出される。
なお、閾値処理の前に細胞自家蛍光や他の不要信号成分等のノイズ除去処理が施されてもよく、ガウシアンフィルタ等のローパスフィルタや二次微分等のハイパスフィルタが好ましく用いられる。
図9Bに、輝点領域が抽出された画像の一例を示す。図9Bに示すように、かかる画像では蛍光輝点を中心とした輝点領域が抽出されている。
「輝度プロファイル」とは、輝点領域が抽出された画像をマスクとして蛍光画像から抽出された画像とに基づき作成される輝度信号値の2次元分布情報であり、輝点領域における輝度信号値とその範囲(輝度分布の広がり)とを示すものである。
すなわち、図10に示すように、蛍光画像から輝点領域が抽出された画像が生成されると(図10A)、輝点領域ごとに、輝点領域が抽出された画像(図10B(図10A中の四角枠部分に対応している。))と、その輝点領域に対応する部位の蛍光画像(図10C)とが重ね合わされ、輝点領域が抽出された画像をマスクとして、蛍光画像から輝点領域に対応する第2の蛍光画像が生成され(図10D)、その第2の蛍光画像に基づき、X座標位置及びY座標位置における輝度の分布が作成され(図10E)、これが輝度プロファイルとなる。
そして実際のところ、1つの輝点領域には1個または複数個の蛍光粒子が含まれ、かかる輝度プロファイルには蛍光粒子の数と各蛍光粒子の位置とに応じた輝度と範囲とが示される。当該輝度プロファイルから輝点領域における蛍光粒子の数と各蛍光粒子の位置とが算出される。
なお、輝度プロファイルは、図10Eに示すように、X座標位置及びY座標位置における輝度が2次元的に表現されたものであってもよいし、図10Fに示すように、X座標位置(横)及びY座標位置(縦)における輝度(高さ)が3次元的に表現されたものであってもよい。輝度プロファイルを図10Fの3次元的に表現したほうが可視化され把握しやすいため、以後の説明では、図10Fのような輝度プロファイルを用いて説明する。
図11Aに、蛍光粒子1個分の輝度プロファイルの一例を、図11Bに、当該輝度プロファイルから算出した結果(蛍光粒子の数と各蛍光粒子のXY平面上での座標位置)を、それぞれ示す。
かかる状況において、ステップS404では、既知の蛍光粒子1個分の輝度プロファイルを「基準プロファイル」として、輝点領域ごとに、基準プロファイルとその輝点領域の輝度プロファイルとを比較し、その輝点領域における蛍光粒子の数と各蛍光粒子の位置とが算出される。
かかる場合、図11Aの基準プロファイルと、図12A、図12C、図13A、図13Cの輝度プロファイルとが比較され、基準プロファイル中の輝度(頂点の高さ)とその範囲(頂点付近の広がりや勾配)などに基づき、蛍光粒子の情報として数と座標位置とが算出される。
図12Aの例では、輝度プロファイル中の頂点の高さとその頂点付近の広がりや勾配が基準プロファイルのものと一致することから、図12Bに示すように、蛍光粒子は個数が1個で単独で存在していることが判別される。
図12Cの例では、輝度プロファイル中の頂点が高く、その頂点付近の勾配が急峻であることから、図12Dに示すように、蛍光粒子は個数が2個で、各蛍光粒子が近接した位置に存在していることが判別される。
図13Aの例では、輝度プロファイル中の頂点が高く、その頂点付近に一定の広がりがあることから、図13Bに示すように、蛍光粒子は個数が3個で、各蛍光粒子がほぼ等間隔で存在していることが判別される。
図13Cの例では、輝度プロファイル中の頂点の数が2つであり、一方の頂点は高くて頂点付近に広がりがあり、他方の頂点は高さと頂点付近の広がりや勾配が基準プロファイルのものと一致することから、図13Dに示すように、蛍光粒子は個数が3個で、そのうち2個の蛍光粒子は一定の間隔をあけて存在し、残り1個の蛍光粒子は離れた位置で単独で存在していることが判別される。
このように、蛍光粒子が複数個にわたる場合でも、基準プロファイルが作成され、蛍光粒子の数と座標位置とがあらかじめ設定されていれば、その輝点領域における蛍光粒子の数と各蛍光粒子の位置とを容易に判別することができる。
図9Cに、各輝点領域における蛍光粒子の数と各蛍光粒子の位置とが算出された画像であって、蛍光粒子が抽出された画像(蛍光粒子画像)を示す。
図14に、加算処理後の重複画像の一例を示す。
図15に、細胞核上における蛍光粒子の分布の一例を示す。
図14に示すように、細胞核画像と蛍光粒子画像とが加算されると、抽出された細胞核上に、抽出された蛍光粒子が重ね合わされる。その結果、図14拡大部に示すように、各細胞核上には、輝点領域ごとに蛍光粒子が表示される。図14拡大部の例では、図12Aの輝度プロファイルから算出した1個の蛍光粒子が「1」として、図12Cの輝度プロファイルから算出した2個の蛍光粒子が「2」として、図13Aの輝度プロファイルから算出した3個の蛍光粒子が「3」として、図13Cの輝度プロファイルから算出した3個の蛍光粒子が「4」として、それぞれ表示されている。
そして実際に図14拡大部に対応する画像は、図15に示すように、画像処理装置2Aの表示部23に表示され、観察対象細胞中の特定部位(細胞核)上での蛍光粒子の数や各蛍光粒子の位置とが分布として具体的に表示され把握される。細胞核上に重なる蛍光粒子の数や各蛍光粒子の位置(分布)は、癌の悪性度や進行度の指標となる特定タンパクの発現状況を示す。
そのため、簡易な方法で観察対象細胞内での特定タンパク質の発現(発現数とその発現位置)を正確に定量することができ、これまでの蛍光輝点画像からは解析することは困難であった、生体物質の定量及び観察対象細胞上の存在位置を正確に評価することが可能になった。生体物質の細胞上での存在位置は、特にがんの浸潤性や進行度等の悪性度に関連すると推定され、本実施形態によれば、がんの転移状況やがんの活性度を可視化することが可能になり、がんの予防や治療方針の決定に貢献できると考えられる。
かかる場合、ステップS401においてフィルターワーク等を用いてそれぞれの色成分を抽出し、その抽出した色成分(波長成分)ごとにステップ402-S405の処理を実行し、ステップS5において、細胞核画像と色成分ごと作成された蛍光粒子画像とを加算すればよい。その結果、ステップS6では、蛍光粒子の種類ごとに(特定タンパクごとに)蛍光粒子の分布が表示され、細胞核上における特定タンパクの発現状況と併せて、各特定タンパクの近接度をも表示することができる。
かかる処理によれば、図18に示すように、ステップS1-S2の処理により細胞核30が抽出され、ステップS3-S4(S401-S402)の処理により輝点領域50、52が抽出され、その後、図19に示すように、ステップS403-S404の処理により、特定タンパクごとに蛍光粒子60、62の分布を表示させることができる。
(A-1)蛍光物質内包ナノ粒子(ナノ粒子1;赤色メラミン粒子)の作製
蛍光色素として赤色発光色素であるSulfoRhodamine101(シグマアルドリッチ社製)14.4mgを水22mLに加えて溶解させた。その後、この溶液に乳化重合用乳化剤のエマルジョン(登録商標)430(ポリオキシエチレンオレイルエーテル、花王社製)の5%水溶液を2mL加えた。この溶液をホットスターラー上で撹拌しながら70℃まで昇温させた後、この溶液にメラミン樹脂原料ニカラックMX-035(日本カーバイド工業社製)を0.65g加えた。
さらに、この溶液に界面活性剤としてドデシルベンゼンスルホン酸(関東化学社製)の10%水溶液を1000μL加え、70℃で50分間加熱撹拌した。その後、90℃に昇温して20分間加熱撹拌した。得られた色素樹脂粒子の分散液から、余剰の樹脂原料や蛍光色素等の不純物を除くため、純水による洗浄を行った。
具体的には、遠心分離機(クボタ社製マイクロ冷却遠心機3740)にて20000Gで15分間、遠心分離し、上澄み除去後、超純水を加えて超音波照射して再分散した。遠心分離、上澄み除去および超純水への再分散による洗浄を5回繰り返した。得られたメラミン粒子はメラミン樹脂自体が骨格に多くのアミノ基を含むことから、プラス電荷となった。樹脂粒子の電荷の評価は、NMRやIR等による樹脂成分分析と、ゼータ電位測定により行なった。
得られた色素結合ナノ粒子を、EDTA(エチレンジアミン四酢酸)を2mM含有したPBS(リン酸緩衝液生理的食塩水)を用いて3nMに調整し、この溶液に最終濃度10mMとなるようSM(PEG)12(サーモサイエンティフィック社製、succinimidyl-[(N-maleomidopropionamid)-dodecaethyleneglycol]ester)を混合し、1時間反応させた。この混合液を10,000Gで20分遠心分離を行い、上澄みを除去した後、EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行うことで、末端にマレイミド基が付いた蛍光色素内包ナノ粒子を得た。
上記の末端にマレイミド基が付いた色素結合ナノ粒子とストレプトアビジンとを、EDTAを2mM含有したPBS中で混合し、1時間反応させた。10mMメルカプトエタノールを添加し、反応を停止させた。得られた溶液を遠心フィルターで濃縮後、精製用ゲルろ過カラムを用いて未反応ストレプトアビジン等を除去して、最終的にストレプトアビジンが結合したSulfoRhodamine色素結合赤色メラミンナノ粒子(ナノ粒子1)を得た。
ナノ粒子1を走査型電子顕微鏡(SEM;日立(登録商標)社製S-800型)で観察したところ、平均粒径は150nm、変動係数は12%であった。
下記工程(1)~(12)の方法により、蛍光物質内包ナノ粒子に対して抗体を結合させた。
工程(1):1mgのナノ粒子1を純水5mLに分散させた。次いで、アミノプロピルトリエトキシシラン水分散液(LS-3150、信越化学工業社製)100μLを添加し、室温で12時間撹拌した。
工程(2):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(3):エタノールを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順でエタノールと純水による洗浄を1回ずつ行った。
得られたアミノ基修飾したナノ粒子のFT-IR測定を行ったところ、アミノ基に由来する吸収が観測でき、アミノ基修飾されたことが確認できた。
工程(5):工程(4)で調整した溶液に、最終濃度10mMとなるようSM(PEG)12(サーモサイエンティフィック社製、succinimidyl-[(N-maleomidopropionamid)-dodecaethyleneglycol]ester)を混合し、1時間反応させた。
工程(6):反応混合液を10000Gで60分遠心分離を行い、上澄みを除去した。
工程(7):EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させた。
工程(9):反応混合物についてゲルろ過カラムにより過剰のDTTを除去し、還元化抗Ki67抗体溶液を得た。
工程(11):10mMメルカプトエタノール4μLを添加し、反応を停止させた。
工程(12):反応混合物を10000Gで60分遠心分離を行い、上澄みを除去した後、EDTAを2mM含有したPBSを加え、沈降物を分散させ、再度遠心分離を行った。同様の手順による洗浄を3回行った。最後に500μLのPBSを用いて再分散させ、Ki67抗体が結合された蛍光物質内包ナノ粒子を得た。
下記工程(1)~(10)の方法により、作製した染色試薬aを用い、ヒト乳房組織切片を用いて免疫染色を行った。染色切片はコスモバイオ社製の組織アレイスライド(CB-A712)を用いた。
工程(2):エタノールを入れた容器に病理切片を30分浸漬させた。途中3回エタノールを交換した。
工程(3):水を入れた容器に病理切片を30分浸漬させた。途中3回水を交換した。
工程(4):10mMクエン酸緩衝液(pH6.0)に病理切片を30分浸漬させた。
工程(5):121度で10分オートクレーブ処理を行った。
工程(6):PBSを入れた容器に、オートクレーブ処理後の切片を30分浸漬させた。
工程(7):1%BSA含有PBSを組織に載せて、1時間放置した。
工程(8):1%BSA含有PBSで0.05nMに希釈した抗Ki67抗体が結合された染色試薬aを、組織切片に載せて3時間放置した。
工程(9):PBSを入れた容器に、染色後の切片をそれぞれ30分浸漬させた。
工程(10)4%中性パラホルムアルデヒド溶液で10分間固定処理した後、ヘマトキシリン染色を行った。
工程(11):Merck Chemicals社製Aquatexを滴下後、カバーガラスを載せ封入した。
染色試薬aを用いて染色した組織切片について、顕微鏡画像(明視野画像及び蛍光画像)を取得した。
顕微鏡として、カールツアイス社製正立顕微鏡Axio Imager M2を用い、対物レンズを20倍に設定した。蛍光画像の取得にあたっては、580nmの波長を有する励起光を照射して、組織切片から発せられる610nmの波長を有する蛍光を結像し、顕微鏡設置カメラ(モノクロ)により顕微鏡画像(画像データ)を取得した。
なお、上記カメラは画素サイズ6.4μm×6.4μm、縦画素数1040個、横画素数1388個(撮像領域8.9mm×6.7mm)を有している。
(A-1)蛍光物質内包ナノ粒子(ナノ粒子2;緑色メラミン粒子)の作製
実施例1のナノ粒子1の作製において、蛍光色素として緑色発光色素であるpyromethene556(Exciton社製)14.4mgを水22mに加えて溶解した以外は同様に、pyromethene色素結合緑色メラミンナノ粒子(ナノ粒子2)を得た。
得られたナノ粒子2を走査型電子顕微鏡で観察したところ、平均粒径は180nm、変動係数は14%であった。
実施例1の蛍光物質内包ナノ粒子への抗体の結合において、ナノ粒子1の代わりにナノ粒子2を用い、抗Ki67抗体の代わりに抗p53抗体を用いた以外は同様にして、抗p53抗体が結合された蛍光物質内包ナノ粒子を得た。
ナノ粒子2を出発原料として得られた抗p53抗体が結合された蛍光物質内包ナノ粒子を「染色試薬b」とする。
実施例1の蛍光物質内包ナノ粒子を用いた組織染色の工程(8)において、1%BSA含有PBSで0.05nMに希釈した抗Ki67抗体が結合された染色試薬a及び、1%BSA含有PBSで0.05nMに希釈した抗p53抗体が結合された染色試薬bを組織切片に載せて3時間放置した以外は同様にして、組織染色を行った。
染色試薬a及び染色試薬bを用いて染色した組織切片について、実施例1に記載の顕微鏡により顕微鏡画像(明視野画像及び蛍光画像)を取得した。
なお、蛍光画像の取得にあたっては、580nmの波長を有する励起光を照射し610nmの波長を有する蛍光を結像して得られる蛍光画像データ、及び490nmの波長を有する励起光を照射し520nmの波長を有する蛍光を結像して得られる蛍光画像データの2枚の画像データを取得した。
得られたそれぞれの画像に図5の画像解析処理を実行し、輝度プロファイルに基づき、ナノ粒子1及びナノ粒子2の数と位置とをそれぞれ算出したところ、図21に示すように、Ki67タンパク及びp53タンパクの2種の分布を細胞上に表示することができた。
2A 画像処理装置
3A ケーブル
21 制御部
22 操作部
23 表示部
24 通信I/F
25 記憶部
26 バス
30 細胞核
40 輝点領域
42 蛍光粒子
50、52 輝点領域
60、62 蛍光粒子
100 病理診断支援システム
Claims (5)
- 組織切片における細胞の形態を表す明視野画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段と、
前記明視野画像から細胞の特定部位が抽出された細胞画像を生成する第1の生成手段と、
前記蛍光画像から輝点領域が抽出された画像を生成し、輝点領域ごとに輝度プロファイルを作成し、蛍光輝点源となる蛍光粒子1個分の蛍光プロファイルに基づき、前記輝点領域における蛍光粒子が抽出された蛍光粒子画像を生成する第2の生成手段と、
前記細胞画像と前記蛍光粒子画像とを重ね合わせる加算手段と、
を有することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記蛍光輝点源が、発光波長が互いに異なる2種以上の蛍光粒子とされ、
前記第2の生成手段が、蛍光粒子の種類ごとに前記蛍光粒子画像を生成することを特徴とする画像処理装置。 - 請求項1または2に記載の画像処理装置と、
前記画像処理装置で使用される、前記明視野画像と前記蛍光画像とを取得する画像取得装置と、
を備えることを特徴とする病理診断支援システム。 - コンピュータを、
組織切片における細胞の形態を表す明視野画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力手段、
前記明視野画像から細胞の特定部位が抽出された細胞画像を生成する第1の生成手段、
前記蛍光画像から輝点領域が抽出された画像を生成し、輝点領域ごとに輝度プロファイルを作成し、蛍光輝点源となる蛍光粒子1個分の蛍光プロファイルに基づき、前記輝点領域における蛍光粒子が抽出された蛍光粒子画像を生成する第2の生成手段、
前記細胞画像と前記蛍光粒子画像とを重ね合わせる加算手段、
として機能させるための画像処理プログラム。 - 組織切片における細胞の形態を表す明視野画像と、前記組織切片の同一範囲における特定タンパクの発現を蛍光輝点で表す蛍光画像とを入力する入力工程と、
前記明視野画像から細胞の特定部位が抽出された細胞画像を生成する第1の生成工程と、
前記蛍光画像から輝点領域が抽出された画像を生成し、輝点領域ごとに輝度プロファイルを作成し、蛍光輝点源となる蛍光粒子1個分の蛍光プロファイルに基づき、前記輝点領域における蛍光粒子が抽出された蛍光粒子画像を生成する第2の生成工程と、
前記細胞画像と前記蛍光粒子画像とを重ね合わせる加算工程と、
を有することを特徴とする画像処理方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US15/103,171 US10175220B2 (en) | 2013-12-18 | 2014-12-17 | Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method |
| JP2015537061A JP5822054B1 (ja) | 2013-12-18 | 2014-12-17 | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 |
| EP14870827.4A EP3086110A4 (en) | 2013-12-18 | 2014-12-17 | Image processing device, pathological diagnosis support system, image processing program, and image processing method |
| US16/207,378 US10502728B2 (en) | 2013-12-18 | 2018-12-03 | Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method |
| US16/515,424 US11035844B2 (en) | 2013-12-18 | 2019-07-18 | Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013260769 | 2013-12-18 | ||
| JP2013-260769 | 2013-12-18 |
Related Child Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| US15/103,171 A-371-Of-International US10175220B2 (en) | 2013-12-18 | 2014-12-17 | Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method |
| US16/207,378 Continuation US10502728B2 (en) | 2013-12-18 | 2018-12-03 | Image processing device, pathological diagnosis support system, storage medium for image processing, and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2015093518A1 true WO2015093518A1 (ja) | 2015-06-25 |
Family
ID=53402863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2014/083379 Ceased WO2015093518A1 (ja) | 2013-12-18 | 2014-12-17 | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US10175220B2 (ja) |
| EP (1) | EP3086110A4 (ja) |
| JP (1) | JP5822054B1 (ja) |
| WO (1) | WO2015093518A1 (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017015550A (ja) * | 2015-07-01 | 2017-01-19 | 公益財団法人ヒューマンサイエンス振興財団 | 2重染色キット |
| JP2017110986A (ja) * | 2015-12-16 | 2017-06-22 | コニカミノルタ株式会社 | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム |
| EP3188125A1 (en) * | 2015-12-28 | 2017-07-05 | Sysmex Corporation | Cell region determination method, cell imaging system, and cell image processing apparatus |
| JP2017122610A (ja) * | 2016-01-06 | 2017-07-13 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| CN107850545A (zh) * | 2015-10-07 | 2018-03-27 | 松下电器产业株式会社 | 图像处理方法以及图像处理装置 |
| JP2018173273A (ja) * | 2017-02-15 | 2018-11-08 | 国立研究開発法人理化学研究所 | 細胞の再プログラム化を検出するための方法及び装置 |
| WO2019188647A1 (ja) * | 2018-03-30 | 2019-10-03 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及びプログラム |
| JPWO2019078230A1 (ja) * | 2017-10-19 | 2020-12-17 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
| WO2021157405A1 (ja) * | 2020-02-04 | 2021-08-12 | ソニーグループ株式会社 | 解析装置、解析方法、解析プログラム及び診断支援システム |
| US11423533B2 (en) * | 2016-12-27 | 2022-08-23 | Konica Minolta, Inc. | Image processing method and image processing system |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6960224B2 (ja) * | 2015-01-22 | 2021-11-05 | コニカミノルタ株式会社 | 生体物質定量方法、病理診断支援システム及びプログラム |
| JP6468907B2 (ja) * | 2015-03-25 | 2019-02-13 | キヤノン株式会社 | 画像処理装置及び画像処理方法及びプログラム |
| US10804442B2 (en) | 2018-01-29 | 2020-10-13 | Nichia Corporation | Light emitting device |
| MA52114A (fr) | 2018-02-28 | 2021-01-06 | Juno Therapeutics Inc | Procédés de détection de particules présentes dans une composition cellulaire |
| CN109919922B (zh) * | 2019-02-27 | 2023-02-03 | 重庆大学 | 一种基于空间域与形态学相结合的硅硅直接键合的质量检测方法 |
| WO2021155382A1 (en) * | 2020-01-31 | 2021-08-05 | Cornell University | Light-sheet photonic-force optical coherence elastography |
| CN115511868A (zh) * | 2022-10-18 | 2022-12-23 | 麦克奥迪实业集团有限公司 | 荧光数字切片扫描方法、装置、设备及介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4326008A (en) | 1976-08-27 | 1982-04-20 | California Institute Of Technology | Protein specific fluorescent microspheres for labelling a protein |
| JPS6366465A (ja) | 1986-09-08 | 1988-03-25 | Res Dev Corp Of Japan | 細胞識別・定量方法 |
| US5326692A (en) | 1992-05-13 | 1994-07-05 | Molecular Probes, Inc. | Fluorescent microparticles with controllable enhanced stokes shift |
| WO2000033251A1 (fr) * | 1998-11-30 | 2000-06-08 | Yamatake Corporation | Dispositif de reconnaissance de particules |
| JP2002514319A (ja) | 1997-03-03 | 2002-05-14 | バクス リサーチ ラボラトリーズ インコーポレイテッド | バーチャル顕微鏡スライドを作成する方法および装置 |
| JP2012029342A (ja) | 2006-02-03 | 2012-02-09 | Interdigital Technol Corp | 送信時間間隔ごとに複数のハイブリッド自動再送要求プロセスをサポートする方法およびシステム |
| JP2012208106A (ja) * | 2011-03-17 | 2012-10-25 | Konica Minolta Medical & Graphic Inc | 病理診断情報生成方法及び病理診断情報生成システム |
| WO2013146841A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
| WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2799191B2 (ja) * | 1989-08-24 | 1998-09-17 | オリンパス光学工業株式会社 | 細胞内イオンの2次元濃度分布像を形成する方法 |
| JPH0430798A (ja) * | 1990-05-28 | 1992-02-03 | Fuji Electric Co Ltd | 生菌計数方法およびその装置 |
| JP3029760B2 (ja) * | 1993-07-28 | 2000-04-04 | 富士電機株式会社 | 細菌検査装置と検査方法 |
| CN101151378B (zh) * | 2005-03-30 | 2013-04-03 | 奥林巴斯株式会社 | 规定部位发光量测定方法、规定部位发光量测定装置、表达量测定方法及测定装置 |
| CN101438147B (zh) * | 2006-05-31 | 2011-09-28 | 奥林巴斯株式会社 | 生物试样摄像方法及生物试样摄像装置 |
| US20080052009A1 (en) * | 2006-08-23 | 2008-02-28 | Washington, University Of | Method for deconvolving single-molecule intensity distributions for quantitative biological measurements |
| US10809167B2 (en) | 2010-08-30 | 2020-10-20 | Konica Minolta, Inc. | Tissue staining method with staining agent containing particle holding plural phosphors |
| US20130338016A1 (en) * | 2012-04-17 | 2013-12-19 | Vala Sciences, Inc. | Method For Integrated Pathology Diagnosis And Digital Biomarker Pattern Analysis |
| EP3764084A1 (en) * | 2013-03-12 | 2021-01-13 | Ventana Medical Systems, Inc. | Digitally enhanced microscopy for multiplexed histology |
| US8995740B2 (en) * | 2013-04-17 | 2015-03-31 | General Electric Company | System and method for multiplexed biomarker quantitation using single cell segmentation on sequentially stained tissue |
-
2014
- 2014-12-17 EP EP14870827.4A patent/EP3086110A4/en not_active Withdrawn
- 2014-12-17 WO PCT/JP2014/083379 patent/WO2015093518A1/ja not_active Ceased
- 2014-12-17 JP JP2015537061A patent/JP5822054B1/ja active Active
- 2014-12-17 US US15/103,171 patent/US10175220B2/en active Active
-
2018
- 2018-12-03 US US16/207,378 patent/US10502728B2/en active Active
-
2019
- 2019-07-18 US US16/515,424 patent/US11035844B2/en active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4326008A (en) | 1976-08-27 | 1982-04-20 | California Institute Of Technology | Protein specific fluorescent microspheres for labelling a protein |
| JPS6366465A (ja) | 1986-09-08 | 1988-03-25 | Res Dev Corp Of Japan | 細胞識別・定量方法 |
| US5326692A (en) | 1992-05-13 | 1994-07-05 | Molecular Probes, Inc. | Fluorescent microparticles with controllable enhanced stokes shift |
| US5326692B1 (en) | 1992-05-13 | 1996-04-30 | Molecular Probes Inc | Fluorescent microparticles with controllable enhanced stokes shift |
| JP2002514319A (ja) | 1997-03-03 | 2002-05-14 | バクス リサーチ ラボラトリーズ インコーポレイテッド | バーチャル顕微鏡スライドを作成する方法および装置 |
| WO2000033251A1 (fr) * | 1998-11-30 | 2000-06-08 | Yamatake Corporation | Dispositif de reconnaissance de particules |
| JP2012029342A (ja) | 2006-02-03 | 2012-02-09 | Interdigital Technol Corp | 送信時間間隔ごとに複数のハイブリッド自動再送要求プロセスをサポートする方法およびシステム |
| JP2012208106A (ja) * | 2011-03-17 | 2012-10-25 | Konica Minolta Medical & Graphic Inc | 病理診断情報生成方法及び病理診断情報生成システム |
| WO2013146841A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
| WO2013146843A1 (ja) * | 2012-03-30 | 2013-10-03 | コニカミノルタ株式会社 | 医用画像処理装置及びプログラム |
Non-Patent Citations (4)
| Title |
|---|
| LANGMUIR, vol. 8, 1992, pages 2921 |
| NATURE BIOTECHNOLOGY, vol. 19, 2001, pages 631 |
| NEW JOURNAL OF CHEMISTRY, vol. 33, 2009, pages 561 |
| See also references of EP3086110A4 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017015550A (ja) * | 2015-07-01 | 2017-01-19 | 公益財団法人ヒューマンサイエンス振興財団 | 2重染色キット |
| CN107850545A (zh) * | 2015-10-07 | 2018-03-27 | 松下电器产业株式会社 | 图像处理方法以及图像处理装置 |
| EP3361236A4 (en) * | 2015-10-07 | 2018-09-05 | Panasonic Corporation | Image processing method and image processing device |
| JP2017110986A (ja) * | 2015-12-16 | 2017-06-22 | コニカミノルタ株式会社 | 蛍光画像の合焦位置特定システム、合焦位置特定方法および合焦位置特定プログラム |
| US10482605B2 (en) | 2015-12-28 | 2019-11-19 | Sysmex Corporation | Cell area determination method, cell imaging system, and cell image processing apparatus |
| EP3188125A1 (en) * | 2015-12-28 | 2017-07-05 | Sysmex Corporation | Cell region determination method, cell imaging system, and cell image processing apparatus |
| JP2017122610A (ja) * | 2016-01-06 | 2017-07-13 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| US11423533B2 (en) * | 2016-12-27 | 2022-08-23 | Konica Minolta, Inc. | Image processing method and image processing system |
| JP2018173273A (ja) * | 2017-02-15 | 2018-11-08 | 国立研究開発法人理化学研究所 | 細胞の再プログラム化を検出するための方法及び装置 |
| JPWO2019078230A1 (ja) * | 2017-10-19 | 2020-12-17 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
| JP7184046B2 (ja) | 2017-10-19 | 2022-12-06 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
| JPWO2019188647A1 (ja) * | 2018-03-30 | 2021-05-13 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及びプログラム |
| WO2019188647A1 (ja) * | 2018-03-30 | 2019-10-03 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及びプログラム |
| JP7259844B2 (ja) | 2018-03-30 | 2023-04-18 | コニカミノルタ株式会社 | 画像処理方法、画像処理装置及びプログラム |
| WO2021157405A1 (ja) * | 2020-02-04 | 2021-08-12 | ソニーグループ株式会社 | 解析装置、解析方法、解析プログラム及び診断支援システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US10502728B2 (en) | 2019-12-10 |
| US20190339251A1 (en) | 2019-11-07 |
| JP5822054B1 (ja) | 2015-11-24 |
| EP3086110A1 (en) | 2016-10-26 |
| US20190113497A1 (en) | 2019-04-18 |
| EP3086110A4 (en) | 2017-06-21 |
| US20180164277A1 (en) | 2018-06-14 |
| JPWO2015093518A1 (ja) | 2017-03-23 |
| US10175220B2 (en) | 2019-01-08 |
| US11035844B2 (en) | 2021-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5822054B1 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び画像処理方法 | |
| JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
| JP6350527B2 (ja) | 画像処理装置、病理診断支援システム、画像処理プログラム及び病理診断支援方法 | |
| JP5804194B2 (ja) | 医用画像処理装置及びプログラム | |
| JP6635108B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP6597316B2 (ja) | 画像処理装置及びプログラム | |
| JP5768948B1 (ja) | 画像処理装置および画像処理プログラム | |
| JP6763407B2 (ja) | 画像処理装置及びプログラム | |
| JP7173034B2 (ja) | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム | |
| JP5835536B1 (ja) | 組織評価方法、画像処理装置、病理診断支援システム及びプログラム | |
| JPWO2018143406A1 (ja) | 画像処理装置及びプログラム | |
| JP6493398B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
| JP6337629B2 (ja) | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム | |
| JP6405985B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
| JP6375925B2 (ja) | 画像処理装置、画像処理システム、画像処理プログラム及び画像処理方法 | |
| JP6702339B2 (ja) | 画像処理装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| ENP | Entry into the national phase |
Ref document number: 2015537061 Country of ref document: JP Kind code of ref document: A |
|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 14870827 Country of ref document: EP Kind code of ref document: A1 |
|
| REEP | Request for entry into the european phase |
Ref document number: 2014870827 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 2014870827 Country of ref document: EP |
|
| WWE | Wipo information: entry into national phase |
Ref document number: 15103171 Country of ref document: US |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |