[go: up one dir, main page]

WO2024209965A1 - 陽性判定方法、画像解析システムおよび情報処理装置 - Google Patents

陽性判定方法、画像解析システムおよび情報処理装置 Download PDF

Info

Publication number
WO2024209965A1
WO2024209965A1 PCT/JP2024/011309 JP2024011309W WO2024209965A1 WO 2024209965 A1 WO2024209965 A1 WO 2024209965A1 JP 2024011309 W JP2024011309 W JP 2024011309W WO 2024209965 A1 WO2024209965 A1 WO 2024209965A1
Authority
WO
WIPO (PCT)
Prior art keywords
analysis
cell
image
positive
specimen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2024/011309
Other languages
English (en)
French (fr)
Inventor
志織 笹田
和博 中川
憲治 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of WO2024209965A1 publication Critical patent/WO2024209965A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers

Definitions

  • This disclosure relates to a positive determination method, an image analysis system, and an information processing device.
  • a method for determining whether a sample is positive is known that is based on multiple staining images taken of a sample that has been fluorescently stained using multiple fluorescent dyes with different emission wavelengths (e.g., Patent Documents 1 to 3).
  • the present disclosure aims to provide a positive determination method, an image analysis system, and an information processing device that are capable of making a positive determination based on objective indicators.
  • the positive determination method includes a first analysis step executed by a processor, in which a first analysis process including cell detection is performed on a stained image of a stained specimen created by staining a specimen containing target cells with a fluorescent reagent, and a second analysis step in which a second analysis process identical to the first analysis process is performed on an unstained image of an unstained specimen that contains the target cells and is identical and/or similar to the specimen, and an indicator of whether the target cells are positive cells is output based on the difference between the analysis results from the first analysis process and the analysis results from the second analysis process.
  • FIG. 1 is a block diagram showing a configuration example of an information processing system applicable to an embodiment of the present disclosure.
  • 4 is a schematic diagram showing a specific example of a fluorescence spectrum acquired by a fluorescence signal acquisition unit.
  • FIG. 4 is a schematic diagram showing a specific example of a fluorescence spectrum acquired by a fluorescence signal acquisition unit.
  • FIG. 13 shows the fluorescence spectra of AF546 and AF555 when the wavelength resolution is set to 8 nm.
  • FIG. 1 shows the fluorescence spectra of AF546 and AF555 when the wavelength resolution is set to 1 nm.
  • FIG. 2 is a diagram showing an example of a concatenated fluorescence spectrum generated from the fluorescence spectra acquired by a fluorescence signal acquisition unit.
  • FIG. 13 is a block diagram showing a more specific configuration example of a separation processing unit applicable to each embodiment.
  • FIG. 1 is a schematic diagram showing specific examples of linked autofluorescence reference spectra when the autofluorescent substances are hemoglobin, archidonic acid, catalase, collagen, FAD, NADPH, and ProLong Diamond.
  • FIG. 2 is a schematic diagram for explaining a measurement channel.
  • FIG. 1 is a schematic diagram showing an example of the configuration of a microscope system in the case where an information processing system applicable to each embodiment is realized as a microscope system.
  • 10 is a flowchart showing an example of a series of processing flows associated with fluorescence separation by an information processing device.
  • FIG. 1 is a schematic diagram showing specific examples of linked autofluorescence reference spectra when the autofluorescent substances are hemoglobin, archidonic acid, catalase, collagen, FAD, NADPH, and ProLong Diamond.
  • FIG. 2 is a schematic diagram for explaining a measurement channel.
  • FIG. 2 is a block diagram showing a hardware configuration of an example of an information processing device applicable to each embodiment.
  • 1 is a flowchart illustrating an example of a positive determination method according to the first embodiment.
  • FIG. 1 is a schematic diagram for explaining an average luminance method according to the existing technology.
  • FIG. 2 is a schematic diagram for explaining a positive pixel method according to the first embodiment.
  • FIG. 4 is a schematic diagram for explaining a method for calculating luminance continuity on a film according to the first embodiment
  • FIG. 5 is a schematic diagram for more specifically explaining the on-film luminance continuity calculation method according to the first embodiment
  • FIG. 11 is a flowchart illustrating an example of a process according to a luminance continuity calculation method on a film according to the first embodiment.
  • FIG. 13 is a schematic diagram for explaining concatenation of luminance values.
  • FIG. 1 is a schematic diagram showing examples of actual data of the determination results obtained by each positive determination method.
  • FIG. 13 is a schematic diagram showing examples of TP, FP, FN, and TN, as well as sensitivity, specificity, and accuracy, for each of the average luminance method, the positive pixel method, the combination of the average luminance method and the positive pixel method, and the on-membrane luminance continuity calculation method.
  • FIG. 13 is a schematic diagram for explaining an example of the flow of a positive determination process according to the second embodiment.
  • FIG. 13 is a schematic diagram showing an example of a detection result when cell detection is performed without nucleus detection.
  • a known method for determining positive results is based on multi-stained images taken of samples that have been fluorescently stained with multiple fluorescent dyes with different emission wavelengths.
  • the threshold for determining positive results is currently determined by visual inspection, making it difficult to achieve objective and accurate positive results.
  • Positive cells are cells that express or contain the desired molecular target, such as a specific biomarker, gene, or protein. These cells can be distinguished from negative cells (cells that do not express or contain the desired molecular target) by using specific detection methods or testing techniques, such as immunostaining using fluorescently labeled antibodies, PCR (Polymerase Chain Reaction), and Western blot.
  • Positive cells provide information related to pathology and cellular functions, and are therefore often used as targets for disease diagnosis and treatment. For example, in cancer cells, identifying the expression status of specific cancer-related genes and proteins as positive cells makes it possible to select treatment strategies and evaluate prognosis. In addition, in the diagnosis of infectious diseases, detection of positive cells, which indicate the presence of pathogen genes and proteins, can be useful in confirming infection and selecting treatment methods.
  • this disclosure makes it possible to objectively determine a threshold for positive determination by performing color separation (autofluorescence removal) and analysis under the same conditions for both unstained and stained images.
  • This disclosure also makes it possible to objectively determine a threshold for positive determination by proposing a method for calculating luminance information that can reduce spatial leakage between adjacent cells. As a result, this disclosure makes it possible to perform accurate and objective positive determination of cells in multi-stained images.
  • FIG. 1 is a block diagram showing an example of the configuration of an information processing system applicable to an embodiment of the present disclosure.
  • the information processing system applicable to the embodiment includes an information processing device 100 and a database 200, and a fluorescent reagent 10, a specimen 20, and a fluorescently stained specimen 30 exist as inputs to the information processing system.
  • the fluorescent reagent 10 is a chemical used to stain the specimen 20.
  • the fluorescent reagent 10 is, for example, a fluorescent antibody (including a primary antibody used for direct labeling, or a secondary antibody used for indirect labeling), a fluorescent probe, or a nuclear staining reagent, but the type of fluorescent reagent 10 is not limited to these.
  • the fluorescent reagent 10 is managed with identification information (hereinafter referred to as "reagent identification information 11") that can identify the fluorescent reagent 10 (or the production lot of the fluorescent reagent 10).
  • the reagent identification information 11 is, for example, barcode information (one-dimensional barcode information, two-dimensional barcode information, etc.), but is not limited to this. Even if the fluorescent reagent 10 is the same product, its properties differ for each production lot depending on the manufacturing method and the state of the cells from which the antibody was obtained. For example, the fluorescent reagent 10 has different spectra, quantum yields, or fluorescent labeling rates for each production lot. Therefore, in the information processing system, the fluorescent reagent 10 is managed for each production lot by being assigned reagent identification information 11. This allows the information processing device 100 to perform fluorescence separation while taking into account slight differences in properties that appear for each production lot.
  • the specimen 20 is prepared from a specimen or tissue sample taken from a human body for the purpose of pathological diagnosis.
  • the specimen 20 may be a tissue slice, a cell, or a microparticle, and the type of tissue (e.g., an organ, etc.) used, the type of disease to be treated, the attributes of the subject (e.g., age, sex, blood type, race, etc.), or the lifestyle of the subject (e.g., diet, exercise, smoking, etc.) of the subject are not particularly limited.
  • the tissue slice may include, for example, a slice of a tissue slice to be stained (hereinafter, simply referred to as a slice) before staining, a slice adjacent to the stained slice, a slice different from the stained slice in the same block (sampled from the same location as the stained slice), a slice in a different block (sampled from a different location from the stained slice) in the same tissue, a slice taken from a different patient, etc.
  • a slice of a tissue slice to be stained hereinafter, simply referred to as a slice
  • the specimens 20 are also managed by being assigned identification information (hereinafter referred to as "specimen identification information 21") that allows each specimen 20 to be identified.
  • the specimen identification information 21 is, like the reagent identification information 11, for example, but not limited to, barcode information (one-dimensional barcode information, two-dimensional barcode information, etc.).
  • the properties of the specimen 20 differ depending on the type of tissue used, the type of disease being treated, the attributes of the subject, or the lifestyle of the subject.
  • the measurement channel or spectrum of the specimen 20 differs depending on the type of tissue used. Therefore, in the information processing system, the specimens 20 are individually managed by being assigned specimen identification information 21. This allows the information processing device 100 to perform fluorescence separation while taking into account slight differences in properties that appear for each specimen 20.
  • the fluorescently stained specimen 30 is produced by staining the specimen 20 with a fluorescent reagent 10.
  • the fluorescently stained specimen 30 is produced on the assumption that the specimen 20 is stained with one or more fluorescent reagents 10, and the number of fluorescent reagents 10 used for staining is not particularly limited.
  • the staining method is determined by the respective combinations of the specimen 20 and the fluorescent reagents 10, and is not particularly limited.
  • the information processing device 100 includes an acquisition unit 110, a storage unit 120, a processing unit 130, a display unit 140, a control unit 150, and an operation unit 160.
  • the information processing device 100 may be, for example, a fluorescent microscope, but is not limited thereto and may include various devices.
  • the information processing device 100 may be a PC (Personal Computer), etc.
  • the acquiring unit 110 is configured to acquire information used for various processes of the information processing device 100. As shown in FIG.
  • the information acquisition unit 111 is configured to acquire information about the fluorescent reagent 10 (hereinafter referred to as "reagent information”) and information about the specimen 20 (hereinafter referred to as "specimen information").
  • the information acquisition unit 111 acquires the reagent identification information 11 attached to the fluorescent reagent 10 used in the production of the fluorescent stained specimen 30, and the specimen identification information 21 attached to the specimen 20.
  • the information acquisition unit acquires the reagent identification information 11 and the specimen identification information 21 using a barcode reader or the like. Then, the information acquisition unit 111 acquires the reagent information based on the reagent identification information 11 and the specimen information based on the specimen identification information 21. Each piece of information is acquired from database 200.
  • Information acquisition unit 111 stores the acquired information in information storage unit 121, which will be described later.
  • the specimen information includes a concatenated autofluorescence reference spectrum in which the spectra of the autofluorescent substances in the specimen 20 are concatenated in the wavelength direction
  • the reagent information includes a concatenated fluorescence reference spectrum in which the spectra of the fluorescent substances in the fluorescently stained specimen 30 are concatenated in the wavelength direction.
  • the concatenated autofluorescence reference spectrum and concatenated fluorescence reference spectrum are collectively referred to as the "reference spectrum.”
  • the fluorescent signal acquisition unit 112 is configured to acquire a plurality of fluorescent signals corresponding to a plurality of excitation lights having different wavelengths when the fluorescent stained specimen 30 (created by staining the specimen 20 with the fluorescent reagent 10) is irradiated with the plurality of excitation lights. More specifically, the fluorescent signal acquisition unit 112 receives light and outputs a detection signal according to the amount of received light, thereby acquiring a fluorescent spectrum of the fluorescent stained specimen 30 based on the detection signal.
  • the content of the excitation light (including the excitation wavelength, intensity, etc.) is determined based on reagent information, etc. (in other words, information on the fluorescent reagent 10, etc.).
  • the fluorescent signal referred to here is not particularly limited as long as it is a signal derived from fluorescence, and may be, for example, a fluorescent spectrum.
  • Sections (a) to (d) of FIG. 2 are specific examples of fluorescence spectra acquired by the fluorescence signal acquisition unit 112.
  • Sections (a) to (d) of FIG. 2 show specific examples of fluorescence spectra acquired when the fluorescent stained specimen 30 contains four fluorescent substances, namely DAPI, CK/AF488, PgR/AF594, and ER/AF647, and is irradiated with excitation light having excitation wavelengths of 392 nm (section (a) of FIG. 2), 470 nm (section (b) of FIG. 2), 549 nm (section (c) of FIG. 2), and 628 nm (section (d) of FIG. 2).
  • the fluorescence signal acquisition unit 112 stores the acquired fluorescence spectrum in the fluorescence signal storage unit 122, which will be described later.
  • the storage unit 120 is configured to store information used for various processes of the information processing device 100 or information output by various processes. As shown in Fig. 1, the storage unit 120 includes an information storage unit 121 and a fluorescent signal storage unit 122.
  • the information storage unit 121 is configured to store the reagent information and specimen information acquired by the information acquisition unit 111 .
  • the fluorescent signal storage unit 122 is configured to store the fluorescent signal of the fluorescent stained specimen 30 acquired by the fluorescent signal acquisition unit 112 .
  • the processing unit 130 is configured to perform various processes including a fluorescence separation process. As shown in FIG 1, the processing unit 130 includes a connection unit 131, a separation processing unit 132, an image generation unit 133, and an analysis unit 134.
  • the connecting unit 131 is configured to generate a connected fluorescence spectrum by connecting, in the wavelength direction, at least a portion of the multiple fluorescence spectra acquired by the fluorescence signal acquiring unit 112. For example, the connecting unit 131 extracts data of a predetermined width from each fluorescence spectrum so as to include the maximum value of the fluorescence intensity in each of the four fluorescence spectra (sections (a) to (d) in FIG. 3 ) acquired by the fluorescence signal acquiring unit 112 described above.
  • the width of the wavelength band from which the connecting unit 131 extracts data may be determined based on the reagent information, the excitation wavelength, or the fluorescence wavelength, etc., and may be different for each fluorescent substance. In other words, the width of the wavelength band from which the connecting unit 131 extracts data may be different for each of the fluorescence spectra shown in sections (a) to (d) of FIG. 3.
  • the concatenation unit 131 concatenates the extracted data together in the wavelength direction to generate a single concatenated fluorescence spectrum. Note that because the concatenated fluorescence spectrum is composed of data extracted from multiple fluorescence spectra, it is important to note that the wavelengths are not continuous at the boundaries of each concatenated data.
  • connection unit 131 performs the above connection after aligning the intensity of the excitation light corresponding to each of the multiple fluorescence spectra based on the intensity of the excitation light (in other words, after correcting the multiple fluorescence spectra). More specifically, the connection unit 131 performs the above connection after aligning the intensity of the excitation light corresponding to each of the multiple fluorescence spectra by dividing each fluorescence spectrum by the excitation power density, which is the intensity of the excitation light. In this way, the fluorescence spectrum when excitation light of the same intensity is irradiated is obtained.
  • the intensity of the irradiated excitation light differs, the intensity of the spectrum absorbed by the fluorescent stained specimen 30 (hereinafter referred to as the "absorption spectrum”) also differs depending on the intensity. Therefore, by aligning the intensity of the excitation light corresponding to each of the multiple fluorescence spectra as described above, the absorption spectrum can be appropriately evaluated.
  • the intensity of the excitation light in this description may be the excitation power or the excitation power density, as described above.
  • the excitation power or the excitation power density may be the power or the power density obtained by actually measuring the excitation light emitted from the light source 104, or may be the power or the power density obtained from the driving voltage applied to the light source 104.
  • the intensity of the excitation light in this description may be a value obtained by correcting the above-mentioned excitation power density with the absorption rate of the slice to be observed for each excitation light, or the amplification rate of the detection signal in the detection system (such as the fluorescent signal acquisition unit 112) that detects the fluorescence emitted from the slice.
  • the intensity of the excitation light in this description may be the power density of the excitation light that actually contributed to the excitation of the fluorescent substance, or a value obtained by correcting the power density with the amplification rate of the detection system.
  • the absorption rate and the amplification rate it is possible to appropriately correct the intensity of the excitation light that changes depending on changes in the machine state, environment, etc., and therefore it is possible to generate a concatenated fluorescence spectrum that enables color separation with higher accuracy.
  • the correction value based on the intensity of the excitation light for each fluorescence spectrum is not limited to a value for aligning the intensity of the excitation light corresponding to each of the multiple fluorescence spectra, and may be modified in various ways.
  • the signal intensity of a fluorescence spectrum having an intensity peak on the long wavelength side tends to be lower than the signal intensity of a fluorescence spectrum having an intensity peak on the short wavelength side.
  • a concatenated fluorescence spectrum includes both a fluorescence spectrum having an intensity peak on the long wavelength side and a fluorescence spectrum having an intensity peak on the short wavelength side
  • the fluorescence spectrum having an intensity peak on the long wavelength side may hardly be taken into account, and only the fluorescence spectrum having an intensity peak on the short wavelength side may be extracted.
  • by setting a larger intensity correction value for the fluorescence spectrum having an intensity peak on the long wavelength side it is possible to improve the separation accuracy of the fluorescence spectrum having an intensity peak on the short wavelength side.
  • the connecting unit 131 may also correct the wavelength resolution of each of the multiple fluorescence spectra being connected independently of the other fluorescence spectra.
  • the fluorescence spectrum of AF546 and the fluorescence spectrum of AF555 have almost the same spectral shape and peak wavelength, and the difference is that the fluorescence spectrum of AF555 has a shoulder at the base of the higher wavelengths, whereas the fluorescence spectrum of AF546 does not. In this way, when two fluorescence spectra are close to each other, a problem occurs in that it becomes difficult to separate the colors of the two by spectral extraction.
  • Figure 4 shows the fluorescence spectra of AF546 and AF555 when the wavelength resolution is 8 nm
  • Figure 5 shows the fluorescence spectra of AF546 and AF555 when the wavelength resolution is 1 nm.
  • the concatenating unit 131 corrects, among the multiple concatenated fluorescence spectra, those for which color separation is expected to be difficult to perform to have a higher wavelength resolution, and corrects those for which color separation is expected to be easy to perform to have a lower wavelength resolution. This makes it possible to improve the color separation accuracy while suppressing the increase in data volume.
  • a specific example will be given of a method for generating a concatenated fluorescence spectrum using the linking unit 131.
  • an example will be given of linking four fluorescence spectra obtained by irradiating a fluorescent stained specimen 30 containing four fluorescent substances, namely DAPI, CK/AF488, PgR/AF594, and ER/AF647, with excitation light having excitation wavelengths of 392 nm, 470 nm, 549 nm, and 628 nm, respectively.
  • FIG. 6 shows an example of a concatenated fluorescence spectrum generated from the fluorescence spectra shown in sections (a) to (d) of FIG. 3.
  • the connecting unit 131 extracts a fluorescence spectrum SP1 in the wavelength band of excitation wavelengths equal to or greater than 392 nm and equal to or less than 591 nm from the fluorescence spectrum shown in section (a) of FIG. 3, extracts a fluorescence spectrum SP2 in the wavelength band of excitation wavelengths equal to or greater than 470 nm and equal to or less than 669 nm from the fluorescence spectrum shown in section (b) of FIG. 3, extracts a fluorescence spectrum SP3 in the wavelength band of excitation wavelengths equal to or greater than 549 nm and equal to or less than 748 nm from the fluorescence spectrum shown in section (c) of FIG. 3, and extracts a fluorescence spectrum SP4 in the wavelength band of excitation wavelengths equal to or greater than 628 nm and equal to or less than 827 nm from the fluorescence spectrum shown in section (d) of FIG. 3.
  • the linking unit 131 corrects the wavelength resolution of the extracted fluorescence spectrum SP1 to 16 nm (no intensity correction), corrects the intensity of the fluorescence spectrum SP2 to 1.2 times and the wavelength resolution to 8 nm, corrects the intensity of the fluorescence spectrum SP3 to 1.5 times (no wavelength resolution correction), and corrects the intensity of the fluorescence spectrum SP4 to 4.0 times and the wavelength resolution to 4 nm.
  • the linking unit 131 then links the corrected fluorescence spectra SP1 to SP4 in order to generate a linked fluorescence spectrum as shown in Figure 6.
  • Figure 6 shows a case where the linking unit 131 extracts and links fluorescence spectra SP1 to SP4 of a predetermined bandwidth (200 nm width in Figure 6) from the excitation wavelength when each fluorescence spectrum was acquired, but the bandwidth of the fluorescence spectrum extracted by the linking unit 131 does not need to be the same for each fluorescence spectrum and may be different.
  • the region extracted by the linking unit 131 from each fluorescence spectrum only needs to be a region that includes the peak wavelength of each fluorescence spectrum, and the wavelength band and bandwidth may be changed as appropriate.
  • the shift in spectral wavelength due to the Stokes shift may be taken into consideration. In this way, narrowing down the wavelength band to be extracted makes it possible to reduce the amount of data, and therefore it becomes possible to perform the fluorescence separation process more quickly.
  • the separation processing unit 132 is configured to separate the combined fluorescence spectrum for each molecule.
  • Fig. 7 is a block diagram showing a more specific configuration example of the separation processing unit applicable to each embodiment. As shown in Fig. 7, the separation processing unit 132 includes a color separation unit 1321 and a spectrum extraction unit 1322.
  • the color separation unit 1321 includes, for example, a first color separation unit 1321a and a second color separation unit 1321b, and separates the combined fluorescence spectrum of the stained slice (also called the stained sample) input from the connection unit 131 into molecules by color.
  • the spectrum extraction unit 1322 is configured to improve the concatenated autofluorescence reference spectrum so that more accurate color separation results can be obtained, and adjusts the concatenated autofluorescence reference spectrum contained in the specimen information input from the information storage unit 121 to obtain more accurate color separation results based on the color separation results by the color separation unit 1321.
  • the first color separation unit 1321a separates the concatenated fluorescence spectrum of the stained sample input from the connection unit 131 into spectra for each molecule by performing color separation processing using the concatenated fluorescence reference spectrum included in the reagent information and the concatenated autofluorescence reference spectrum included in the specimen information input from the information storage unit 121.
  • the color separation processing may use, for example, the least squares method (LSM) or the weighted least squares method (WLSM).
  • the spectrum extraction unit 1322 performs a spectrum extraction process on the concatenated autofluorescence reference spectrum input from the information storage unit 121 using the color separation result input from the first color separation unit 1321a, and adjusts the concatenated autofluorescence reference spectrum based on the result, thereby improving the concatenated autofluorescence reference spectrum to obtain a more accurate color separation result.
  • the spectrum extraction process may use, for example, nonnegative matrix factorization (NMF) or singular value decomposition (SVD).
  • the second color separation unit 1321b separates the concatenated fluorescence spectrum of the stained sample input from the connection unit 131 into spectra for each molecule by performing color separation processing using the adjusted concatenated autofluorescence reference spectrum input from the spectrum extraction unit 1322.
  • the least squares method (LSM) or the weighted least squares method (WLSM) may be used for the color separation processing, as in the first color separation unit 1321a.
  • FIG. 7 illustrates an example in which the adjustment of the concatenated autofluorescence reference spectrum is performed once
  • the color separation result by the second color separation unit 1321b may be input to the spectrum extraction unit 1322, and the process of adjusting the concatenated autofluorescence reference spectrum again in the spectrum extraction unit 1322 may be repeated one or more times to obtain the final color separation result.
  • FIG. 8 shows a specific example of a combined autofluorescence reference spectrum when the autofluorescent substances are hemoglobin, archidonic acid, catalase, collagen, FAD, NADPH, and ProLongDiamond.
  • FIG. 9 shows a specific example of a combined fluorescence reference spectrum when the fluorescent substances are CK, ER, PgR, and DAPI. Both the combined fluorescence reference spectrum and the combined autofluorescence reference spectrum can be generated in a manner similar to the combined fluorescence spectrum by the linking unit 131 (not necessarily limited to this).
  • the concatenated fluorescence reference spectrum and the concatenated autofluorescence reference spectrum can be generated by concatenating in the wavelength direction data of a predetermined wavelength bandwidth in multiple spectra acquired by multiple excitation lights having the same excitation wavelength as when the concatenated fluorescence spectrum was generated.
  • the intensity of the excitation light corresponding to each of the multiple spectra is aligned based on the intensity of the excitation light (e.g., excitation power density).
  • the method of generating the combined fluorescence reference spectrum and combined autofluorescence reference spectrum is not necessarily limited to the above.
  • the combined fluorescence reference spectrum and combined autofluorescence reference spectrum may be generated based on theoretical values or catalog values of the spectra of each substance.
  • the least squares method calculates the color mixing ratio by fitting the concatenated fluorescence spectrum generated by the connection unit 131 to the reference spectrum.
  • the color mixing ratio is an index showing the degree to which each substance is mixed.
  • the following formula (1) represents the residual obtained by subtracting the reference spectrum (St. concatenated fluorescence reference spectrum and concatenated autofluorescence reference spectrum) mixed at the color mixing ratio a from the concatenated fluorescence spectrum (Signal).
  • a (1 x number of substances) indicates that a color mixing ratio a is set for each substance (fluorescent substance and autofluorescent substance) (for example, a is a matrix representing the color mixing ratio of each reference spectrum in the concatenated fluorescence spectrum).
  • the first color separation unit 1321a/second color separation unit 1321b calculates the color mixing rate a of each substance that minimizes the sum of squares of the residual equation (1).
  • the sum of squares of the residual is minimized when the result of partial differentiation of the color mixing rate a for equation (1) representing the residual is 0, so the first color separation unit 1321a/second color separation unit 1321b calculates the color mixing rate a of each substance that minimizes the sum of squares of the residual by solving the following equation (2).
  • “St'" in equation (2) indicates the transposed matrix of the reference spectrum St.
  • inv(St*St') indicates the inverse matrix of St*St'.
  • the first color separation unit 1321a/second color separation unit 1321b performs fluorescence separation processing using reference spectra linked in the wavelength direction (linked autofluorescence reference spectrum and linked fluorescence reference spectrum), and can output a unique spectrum as the separation result (separation results are not different for each excitation wavelength). Therefore, the practitioner can more easily obtain the correct spectrum.
  • the reference spectrum for the autofluorescence used in the separation (linked autofluorescence reference spectrum) is automatically obtained and the fluorescence separation processing is performed, eliminating the need for the practitioner to extract a spectrum equivalent to the autofluorescence from an appropriate space in the unstained section.
  • the first color separation unit 1321a/second color separation unit 1321b may extract a spectrum for each fluorescent substance from the concatenated fluorescence spectrum by performing calculations related to the weighted least squares method instead of the least squares method.
  • weighting is applied so as to emphasize errors at low signal levels, taking advantage of the fact that the noise in the concatenated fluorescence spectrum (Signal), which is the measured value, has a Poisson distribution.
  • the upper limit value at which weighting is not applied in the weighted least squares method is set as the offset value.
  • the offset value is determined by the characteristics of the sensor used for the measurement, and if an image sensor is used as the sensor, separate optimization is required.
  • the reference spectrum St in the above formulas (1) and (2) is replaced with St_ expressed by the following formula (7).
  • the following formula (7) means that St_ is calculated by dividing each element (each component) of St, which is expressed as a matrix, by the corresponding element (each component) of the "Signal+Offset value", which is also expressed as a matrix (in other words, element division).
  • the separation processing unit 132 separates the fluorescence spectrum and the autofluorescence spectrum and uses these spectra to perform various processes.
  • the separation processing unit 132 may use the autofluorescence spectrum after separation to perform subtraction processing (also referred to as "background subtraction processing") on the image information of the other specimen 20, thereby extracting a fluorescence spectrum from the image information of the other specimen 20.
  • subtraction processing also referred to as "background subtraction processing”
  • the autofluorescence spectra of these specimens 20 are likely to be similar. Similar specimens here include, for example, tissue sections before staining of the tissue section to be stained (hereinafter referred to as sections), sections adjacent to and continuous with the stained section, sections different from the stained section in the same block (sampled from the same location as the stained section), or sections in different blocks (sampled from a different location from the stained section) in the same tissue), sections taken from different patients, etc. Therefore, when the separation processing unit 132 can extract an autofluorescence spectrum from a certain specimen 20, it may extract a fluorescence spectrum from the image information of the other specimens 20 by removing the autofluorescence spectrum from the image information of the other specimens 20.
  • the separation processing unit 132 can improve the S/N value by using the background after removing the autofluorescence spectrum.
  • the image generating unit 133 is configured to generate image information based on the separation result of the combined fluorescence spectrum by the separation processing unit 132.
  • the image generating unit 133 can generate image information using a fluorescence spectrum corresponding to one or more fluorescent molecules, or generate image information using an autofluorescence spectrum corresponding to one or more autofluorescence molecules.
  • the number and combination of fluorescent molecules or autofluorescence molecules used by the image generating unit 133 to generate image information are not particularly limited.
  • the image generating unit 133 may generate image information indicating the results of those processes.
  • the analysis unit 134 performs an analysis process according to each embodiment of the present disclosure on the image information generated by the image generation unit 133. For example, the analysis unit 134 performs nucleus detection and cell membrane detection on the image information, and performs cell segmentation. At this time, the analysis unit 134 performs the same analysis process on the fluorescent stained specimen 30 and the unstained specimen that is not stained with a fluorescent sample. Note that the unstained specimen may not be stained with anything other than DAPI.
  • the analysis unit 134 calculates an index for making a positive judgment based on the analysis result for the unstained specimen and the analysis result for the stained specimen. The analysis unit 124 makes a positive judgment on the stained specimen based on the calculated index.
  • the indices calculated by the analysis unit 134 here are information that allows for quantitative evaluation of the object using numerical values, etc., and can be used as objective evaluation values that are not dependent on a specific observer of the object (called objective indices).
  • objective indices indices based on the characteristics of the observer (for example, indices unique to that observer based on the observer's experience) are called subjective indices and are distinguished from objective indices.
  • the display unit 140 is configured to present the image information generated by the image generating unit 133 to the operator by displaying the image information on the display.
  • the display unit 140 may also present the analysis and determination results by the analyzing unit 134 on the display.
  • the type of display used as the display unit 140 is not particularly limited.
  • the image information generated by the image generation unit 133 may be presented to the user by being projected by a projector or printed by a printer (in other words, the method of outputting the image information is not particularly limited).
  • the control unit 150 is a functional configuration that comprehensively controls the overall processing performed by the information processing device 100.
  • the control unit 150 controls the start and end of various processes (e.g., adjustment of the placement position of the fluorescent stained specimen 30, irradiation of the fluorescent stained specimen 30 with excitation light, acquisition of spectra, generation of a concatenated fluorescent spectrum, fluorescence separation, generation of image information, and display of image information) as described above based on an operation input by an operator via the operation unit 160.
  • the contents of the control by the control unit 150 are not particularly limited.
  • the control unit 150 may control processes (e.g., processes related to an OS (Operating System)) that are generally performed in a general-purpose computer, PC, tablet PC, etc.
  • OS Operating System
  • the operation unit 160 is configured to receive operation input from the operator. More specifically, the operation unit 160 includes various input means such as a keyboard, a mouse, a button, a touch panel, or a microphone, and the operator can perform various inputs to the information processing device 100 by operating these input means. Information regarding the operation input performed via the operation unit 160 is provided to the control unit 150.
  • the database 200 is a device that manages reagent information, specimen information, etc. More specifically, the database 200 manages the reagent identification information 11 and the reagent information, and the specimen identification information 21 and the specimen information, by linking them together. This allows the information acquisition unit 111 to acquire the reagent information based on the reagent identification information 11 of the fluorescent reagent 10, and the specimen information based on the specimen identification information 21 of the specimen 20, from the database 200.
  • the reagent information managed by the database 200 is assumed to be information including a measurement channel and a concatenated fluorescence reference spectrum specific to the fluorescent substance possessed by the fluorescent reagent 10 (but is not necessarily limited to this).
  • the "measurement channel” is a concept indicating the fluorescent substance contained in the fluorescent reagent 10, and in the example of FIG. 9, it is a concept indicating CK, ER, PgR, and DAPI. Since the number of fluorescent substances varies depending on the fluorescent reagent 10, the measurement channel is linked to each fluorescent reagent 10 and managed as reagent information.
  • the concatenated fluorescence reference spectrum included in the reagent information is, as described above, the fluorescence spectra of each fluorescent substance contained in the measurement channel concatenated in the wavelength direction.
  • the specimen information managed by the database 200 is information including (but is not necessarily limited to) measurement channels specific to the autofluorescent substances contained in the specimen 20 and the combined autofluorescence reference spectrum.
  • the "measurement channel” is a concept that indicates the autofluorescent substances contained in the specimen 20, and in the example of FIG. 8, it is a concept that indicates Hemoglobin, Archidonic Acid, Catalase, Collagen, FAD, NADPH, and ProLong Diamond.
  • the measurement channels are linked to each specimen 20 and managed as specimen information. Furthermore, the concatenated autofluorescence reference spectrum included in the specimen information is, as described above, the autofluorescence spectra of each of the autofluorescent substances included in the measurement channel concatenated in the wavelength direction. Note that the information managed in the database 200 is not necessarily limited to the above.
  • the above describes an example configuration of an information processing system applicable to each embodiment of the present disclosure.
  • the above configuration described with reference to FIG. 1 is merely an example, and the configuration of the information processing system according to this embodiment is not limited to this example.
  • the information processing device 100 does not necessarily have to include all of the components shown in FIG. 1, and may include components that are not shown in FIG. 1.
  • an information processing system applicable to each embodiment of the present disclosure may include an imaging device (including, for example, a scanner) that acquires a fluorescence spectrum, and an information processing device that performs processing using the fluorescence spectrum.
  • an imaging device including, for example, a scanner
  • an information processing device that performs processing using the fluorescence spectrum.
  • the fluorescence signal acquisition unit 112 shown in FIG. 1 may be realized by the imaging device, and the other components may be realized by the information processing device.
  • an information processing system applicable to each embodiment of the present disclosure may include an imaging device that acquires a fluorescence spectrum, and software used for processing using the fluorescence spectrum.
  • the information processing system does not need to be provided with a physical configuration (e.g., a memory, a processor, etc.) that stores and executes the software.
  • the fluorescence signal acquisition unit 112 shown in FIG. 1 may be realized by an imaging device, and the other configurations may be realized by an information processing device that executes the software.
  • the software is then provided to the information processing device via a network (e.g., from a website or cloud server) or via any storage medium (e.g., a disk, etc.).
  • a network e.g., from a website or cloud server
  • any storage medium e.g., a disk, etc.
  • the information processing device on which the software runs may be any type of server (e.g., a cloud server), a general-purpose computer, a PC, a tablet PC, or the like.
  • server e.g., a cloud server
  • the method by which the software is provided to the information processing device and the type of information processing device are not limited to those described above.
  • the configuration of the information processing system according to this embodiment is not necessarily limited to the above, and that a configuration that a person skilled in the art can conceive of based on the technical level at the time of use may be applied.
  • the information processing system described above may be realized, for example, as a microscope system.
  • FIG. 10 an example of the configuration of a microscope system in the case where an information processing system applicable to each embodiment is realized as a microscope system will be described.
  • a microscope system applicable to each embodiment includes a microscope 101 and a data processing unit 107.
  • the microscope 101 includes a stage 102, an optical system 103, a light source 104, a stage driver 105, a light source driver 106, and a fluorescence signal acquisition unit 112.
  • the stage 102 has a mounting surface on which the fluorescently stained specimen 30 can be placed, and can be moved in a direction parallel to the mounting surface (x-y plane direction) and in a direction perpendicular to the mounting surface (z-axis direction) by driving the stage drive unit 105.
  • the fluorescently stained specimen 30 has a thickness in the Z direction, for example, of several ⁇ m to several tens of ⁇ m, and is sandwiched between a slide glass SG and a cover glass (not shown) and fixed by a predetermined fixing method.
  • the optical system 103 is disposed above the stage 102.
  • the optical system 103 includes an objective lens 103A, an imaging lens 103B, a dichroic mirror 103C, an emission filter 103D, and an excitation filter 103E.
  • the light source 104 is, for example, a light bulb such as a mercury lamp or an LED (Light Emitting Diode), and is driven by a light source drive unit 106 to irradiate excitation light onto the fluorescent label attached to the fluorescent stained specimen 30.
  • the excitation filter 103E When obtaining a fluorescent image of the fluorescently stained specimen 30, the excitation filter 103E generates excitation light by transmitting only light of an excitation wavelength that excites the fluorescent dye from the light emitted from the light source 104.
  • the dichroic mirror 103C reflects the excitation light that is transmitted through the excitation filter and guides it to the objective lens 103A.
  • the objective lens 103A focuses the excitation light on the fluorescently stained specimen 30.
  • the objective lens 103A and the imaging lens 103B then magnify the image of the fluorescently stained specimen 30 to a predetermined magnification, and form the magnified image on the imaging plane of the fluorescent signal acquisition unit 112.
  • the dye bound to each tissue of the fluorescent stained specimen 30 emits fluorescence.
  • This fluorescence passes through the dichroic mirror 103C via the objective lens 103A and reaches the imaging lens 103B via the emission filter 103D.
  • the emission filter 103D absorbs the light that has been magnified by the objective lens 103A and transmitted through the excitation filter 103E, and transmits only a portion of the emitted light.
  • the image of the emitted light from which the external light has been removed is magnified by the imaging lens 103B as described above, and is imaged on the fluorescent signal acquisition unit 112.
  • the data processing unit 107 is configured to drive the light source 104, acquire a fluorescent image of the fluorescent stained specimen 30 using the fluorescent signal acquisition unit 112, and perform various processes using the image. More specifically, the data processing unit 107 can function as part or all of the information acquisition unit 111, storage unit 120, processing unit 130, display unit 140, control unit 150, operation unit 160, or database 200 of the information processing device 100 described with reference to FIG. 1. For example, the data processing unit 107 functions as the control unit 150 of the information processing device 100 to control the driving of the stage driving unit 105 and the light source driving unit 106, and to control the acquisition of spectra by the fluorescent signal acquisition unit 112. The data processing unit 107 also functions as the processing unit 130 of the information processing device 100 to generate a concatenated fluorescent spectrum, separate the concatenated fluorescent spectrum into molecules, and generate image information based on the separation results.
  • a microscope system in the case where an information processing system applicable to each embodiment of the present disclosure is realized as a microscope system has been described.
  • the above configuration described with reference to FIG. 10 is merely an example, and the configuration of a microscope system applicable to each embodiment of the present disclosure is not limited to this example.
  • a microscope system does not necessarily have to include all of the configuration shown in FIG. 10, and may include configurations not shown in FIG. 10.
  • Fig. 11 is a flowchart illustrating an example of a series of processing flows associated with fluorescence separation by the information processing device 100.
  • step S1000 the fluorescence signal acquisition unit 112 of the information processing device 100 acquires a fluorescence spectrum. More specifically, multiple excitation lights with different excitation wavelengths are irradiated onto the fluorescently stained specimen 30, and the fluorescence signal acquisition unit 112 acquires multiple fluorescence spectra corresponding to each excitation light. The fluorescence signal acquisition unit 112 then stores the acquired fluorescence spectra in the fluorescence signal storage unit 122.
  • the linking unit 131 generates a linked fluorescence spectrum by linking in the wavelength direction at least a portion of the multiple fluorescence spectra stored in the fluorescence signal storage unit 122. More specifically, the linking unit 131 extracts data of a predetermined width from each of the multiple fluorescence spectra so as to include the maximum value of the fluorescence intensity in each of the multiple fluorescence spectra, and links the data together in the wavelength direction to generate a single linked fluorescence spectrum.
  • step S1008 the separation processing unit 132 separates the concatenated fluorescence spectrum into molecules (performs fluorescence separation). More specifically, the separation processing unit 132 separates the concatenated fluorescence spectrum into molecules by executing the process described with reference to FIG. 7.
  • the image generation unit 133 generates image information using a fluorescence spectrum corresponding to one or more fluorescent molecules (or an autofluorescence spectrum corresponding to an autofluorescent molecule) after separation, and the display unit 140 displays the image information on a display to present it to the operator.
  • the analysis unit 134 may perform an analysis process including cell segmentation on the image information generated by the image generation unit 133. Furthermore, the analysis unit 134 may make a positive determination of the cells based on the results of this analysis process.
  • FIG. 12 is a block diagram showing an example of a hardware configuration of an information processing device 100 applicable to each embodiment.
  • the information processing device 100 includes a CPU 1000, a ROM (Read Only Memory) 1001, a RAM (Random Access Memory) 1002, a display control unit 1003, a storage device 1004, a data I/F 1005, and a communication I/F 1006, and these units are connected to each other via a bus 1010 so that they can communicate with each other.
  • the storage device 1004 is a non-volatile storage medium such as a hard disk drive or flash memory.
  • the CPU 1000 operates according to the programs stored in the ROM 1001 and the storage device 1004, using the RAM 1002 as a work memory, and controls the operation of this information processing device 100.
  • the display control unit 1003 generates a display signal compatible with the display device 1020 based on display control information generated by the CPU 1000 in accordance with a program.
  • the display control unit 1003 outputs the generated display signal to the display device 1020.
  • the display device 1020 includes a display device such as an LCD (Liquid Crystal Display) or an organic EL (Electro-Luminescence) display, and a drive circuit for driving the display device.
  • the display device 1020 displays a screen on the display device in accordance with the display signal supplied from the display control unit 1003.
  • the display control unit 1003 and the display device 1020 may correspond to the display unit 140 described above.
  • the data I/F 1005 is an interface for transmitting and receiving data to and from external devices. There are no particular limitations on the interface that can be used as the data I/F 1005, but an interface for wired communication such as a Universal Serial Bus (USB) or a wireless communication such as Bluetooth (registered trademark) may be used.
  • an input device 1030 such as a keyboard or touch panel that allows the user to perform input operations is connected to the data I/F 1005.
  • the input device 1030 may correspond to the operation unit 160 described above.
  • the communication I/F 1006 is an interface for communicating with communication networks such as the Internet and a LAN (Local Area Network).
  • communication networks such as the Internet and a LAN (Local Area Network).
  • the CPU 1000 executes the information processing program according to each embodiment, thereby configuring the acquisition unit 110, storage unit 120, processing unit 130, and control unit 150 described above, for example as modules, in the main memory area of the RAM 2002.
  • the information processing program can be obtained from the outside via a communication network (not shown) by communication via the communication I/F 1006, for example, and installed on the information processing device 100.
  • the program can also be provided by being stored on a removable storage medium such as a CD (Compact Disk), DVD (Digital Versatile Disk), or USB (Universal Serial Bus) memory.
  • two sets of images are prepared: an unstained image taken of a slide stained only with DAPI, and an image of the target tissue stained multiple times. Both are treated in the same way, and color separation, autofluorescence difference masking, nucleus detection, membrane detection, and brightness (antibody value) calculation are performed.
  • (3-1. Processing according to the first embodiment) 13 is a flowchart of an example showing a positive determination method according to the first embodiment.
  • the same processing is performed on an unstained image obtained by capturing an unstained specimen and a stained image obtained by capturing a fluorescently stained specimen.
  • the unstained image is obtained by photographing a specimen that contains the target cells and is stained only with DAPI for nucleus detection.
  • the processing unit 130 performs color separation processing on the unstained image using the separation processing unit 132 to remove the autofluorescence components contained in the unstained image.
  • the processing unit 130 performs masking processing of the autofluorescence difference on the unstained image using, for example, the image generation unit 133 based on the color separation result of step S10.
  • the processing unit 130 performs cell segmentation using the analysis unit 134, and performs nuclei detection based on the DAPI stained portion in the unstained image.
  • the analysis unit 134 may perform nuclei detection using, for example, AI (Artificial Intelligence) processing using a learning model generated by machine learning (AI nuclei detection).
  • AI Artificial Intelligence
  • the analysis unit 134 performs membrane detection on the unstained image.
  • the analysis unit 134 performs membrane detection on the unstained image, for example, by a dilation method (step S13a).
  • the analysis unit 134 may perform membrane detection using a fixed dilation value for each marker in the dilation method.
  • the analysis unit 134 calculates the antibody value for each cell based on the information on the cell nucleus detected in step S12 and the information on the cell membrane detected in step S13a.
  • the antibody value is calculated as, for example, brightness information.
  • stained images are also subjected to processing similar to that for unstained images described above.
  • the stained image is obtained by photographing a specimen containing target cells, for example a specimen stained with multiple fluorescent reagents.
  • the separation processing unit 132 performs color separation processing on the stained image and removes the autofluorescence components contained in the stained image.
  • the image generating unit 133 performs mask processing of the autofluorescence difference on the stained image based on the color separation result of step S10.
  • the unstained specimen described above may be a specimen that contains the target cells and is the same as and/or similar to the specimen.
  • the analysis unit 134 performs cell segmentation to detect nuclei in the stained image.
  • Cell segmentation refers to the process of individually identifying and classifying cells and intracellular structures in a biological sample. This process aims to detect and extract cells from data sources such as microscopic images and biomeasurement data, and separate them from other cells and the background based on characteristics such as shape, size, brightness, and texture.
  • Cell segmentation techniques are diverse, ranging from traditional image processing methods such as threshold processing, edge detection, morphological operations, and watershed methods, to more recent methods that utilize deep learning and machine learning.
  • the analysis unit 134 performs membrane detection on the stained image.
  • the analysis unit 134 performs membrane detection on the stained image, for example, by a dilation method (step S13b).
  • the analysis unit 134 may perform membrane detection by a watershed method or AI processing using a learning model generated by machine learning.
  • the dilation method is a type of morphological image processing that refers to the operation of expanding the boundaries of objects in a binary image.
  • the dilation method is used to clarify cell boundaries.
  • a specified structuring element kernel
  • This operation expands the object region and clarifies the boundaries of adjacent cells.
  • the watershed method is an image processing technique that divides object regions based on the local minimum value (watershed) of a grayscale image.
  • the minimum value of the image is considered to be a valley, and the object region is divided by raising the water level.
  • the watershed method can be applied to find the cell boundary. Specifically, the clear part of the cell is used as the water source, and the region is expanded in a way that the water spreads around it, and the boundary between adjacent cell regions is detected.
  • the analysis unit 134 calculates the antibody value for each cell based on the information on the cell nucleus detected in step S12 and the information on the cell membrane detected in step S13b.
  • the antibody value is calculated as, for example, brightness information.
  • the processing unit 130 performs a positive determination for the fluorescently stained specimen based on the antibody value calculated from the unstained image in step S14a and the antibody value calculated from the stained image in step S14b using the analysis unit 134.
  • the analysis unit 134 may, for example, determine the difference between the antibody value calculated from the unstained image and the antibody value calculated from the stained image, and determine a threshold value for a positive determination for the stained image based on this difference.
  • the color separation process in step S10 is performed using the least squares method (LSM) or the weighted least squares method (WLSM) as described with reference to FIG. 7. Color separation processes are not limited to these, and methods using virtual filters are also known.
  • LSM least squares method
  • WLSM weighted least squares method
  • FIG. 14 is a schematic diagram for explaining the color separation process applied to the first embodiment and the color separation process using a virtual filter.
  • the reference spectrum input to the separation processing unit 132 has a structure called a spectral cube 40, which is represented by position information indicated by x-y coordinates and wavelength information in a direction perpendicular to the x-y plane, as shown in section (a) of FIG. 14.
  • the virtual filter extracts information from a specific wavelength region of the spectral cube 40, as shown as the extracted wavelength range in section (b) of FIG. 14, and accumulates the extracted information in the wavelength direction to obtain a virtual filter image.
  • the color separation process applied to the first embodiment as described in JP 2020-144109 A, performs matrix decomposition using the least squares method to obtain the intensity distribution in the wavelength direction (see section (c) of FIG. 14), and multiplies it by a coefficient to obtain a color-separated image.
  • FIG. 15 is a schematic diagram showing a comparison of the results of color separation performed using a virtual filter and the results of color separation performed using the color separation applied to the first embodiment.
  • the left side shows an example of the case where a virtual filter is used (images 50a, 51a), and the right side shows an example of the case where color separation applied to the first embodiment is performed (images 50b, 51b).
  • the upper row shows an example of a processed image where color separation has been performed
  • the lower row shows an example of the result when a positive determination has been made based on the result of comparing a stained image with an unstained image.
  • a threshold value for positive determination has been set so that the number of positive cells is the same for comparison.
  • the color separation applied in the first embodiment can simultaneously remove autofluorescence, which is thought to reduce this blurring.
  • FIG. 16 is a schematic diagram to explain erroneous determination due to spatial leakage.
  • section (a) shows nuclei detected by DAPI staining.
  • Sections (b) and (c) show cell membranes detected by membrane detection, with section (b) showing an area determined to be CD4 positive and section (c) showing an area determined to be CD8 positive.
  • the cells within the frame are considered to be positive for CD4 and negative for CD8.
  • the CD8 determination shown in section (c) since the cells surrounding the target cell are stained, when the average brightness value within the frame is calculated, the cell within the frame may be determined to be positive depending on the threshold setting.
  • the target cell is misidentified due to spatial spillover of the staining results of the cells adjacent to the target cell.
  • the analysis unit 134 performs a positive determination using one of the following four methods.
  • FIG. 17 is a schematic diagram for explaining the average brightness method according to the existing technique.
  • a nuclear contour 61 is detected by AI nuclear detection based on DAPI staining (step S12 in FIG. 13), and a membrane contour 63 is calculated from the nuclear contour 61 by, for example, a dilation method (step S13 in FIG. 13).
  • the inside of the nuclear contour 61 is a cell nucleus 60.
  • the analysis unit 134 extracts a region 62 between the nuclear contour 61 and the membrane contour 63, and performs a positive determination using a threshold value for the average brightness obtained by averaging the brightness of the region 62.
  • the positive pixel method is a method newly proposed as a method for determining a positive cell in the first embodiment.
  • Fig. 18 is a schematic diagram for explaining the positive pixel method according to the first embodiment.
  • the analysis unit 134 first uses a threshold determined from, for example, a negative control using an unstained image to determine the positive pixels on a pixel-by-pixel basis for the original image 65a, which is a stained image. Next, the analysis unit 134 determines the number of pixels n in the region 62 between the nuclear contour 61 and the membrane contour 63, as shown in image 65b, by nuclear detection and membrane detection. Furthermore, the analysis unit 134 determines the number of positive pixels m contained in the positive pixel region 64 in region 62, as shown in image 65c.
  • the analysis unit 134 calculates the proportion (m/n) of the positive pixel region 64 in region 62, and if the calculated proportion (m/n) is equal to or greater than a threshold, the analysis unit 134 determines the cells contained in the positive pixel region 64 as positive cells. That is, in the positive pixel method, the proportion (m/n) may be an objective index for positive determination.
  • (c) Combination of Average Brightness Method and Positive Pixel Method This is a method that combines the above-mentioned (a) average brightness method and (b) positive pixel method, and the analysis unit 134 determines that a cell is a positive cell if the average brightness calculated by (a) the average brightness method is equal to or greater than a threshold value and the ratio (m/n) calculated by (b) the positive pixel method is equal to or greater than a threshold value.
  • the membrane luminance continuity calculation method is a method newly proposed as a method for determining positive cells in the first embodiment.
  • Fig. 19 is a schematic diagram for explaining the membrane luminance continuity calculation method according to the first embodiment.
  • the analysis unit 134 obtains the luminance of the membrane contour point 68 corresponding to the pixel on the membrane contour 63, as shown in section (a) of Figure 19. At this time, as shown in section (b) of Figure 19, the average luminance of pixels including the pixel of the membrane contour point 68 and, for example, nine pixels surrounding the membrane contour point 68 is calculated, and the calculated average luminance value is set as the luminance value of the pixel of the membrane contour point 68.
  • the analysis unit 134 calculates the brightness value of each membrane contour point 68 around the entire circumference of the membrane contour 63. When the analysis unit 134 continuously views the membrane contour 63 and the brightness value does not fall below the threshold for a certain period or more, the analysis unit 134 determines that the cell related to the membrane contour 63 is a positive cell. In other words, when there are not a certain number or more consecutive membrane contour points 68 whose brightness value is below the threshold, the analysis unit 134 determines that the cell related to the membrane contour 63 is a positive cell. In other words, when the number of membrane contour points 68 whose brightness value is below the threshold exceeds a certain number, it can be determined that the cell related to the membrane contour 63 is not a positive cell.
  • FIG. 20 is a schematic diagram for explaining in more detail the method for calculating luminance continuity on a membrane according to the first embodiment.
  • region 66 is the region between the nuclear contour and membrane contour in a cell determined to be positive, and is fluorescently colored by staining.
  • region 62 relating to the cell nucleus 60 adjacent to region 66 is likely to be determined to be positive due to leakage of fluorescence from region 66.
  • range 70 is not adjacent to region 66, and so there is no fluorescence spillover or the effect of the spillover is extremely small, resulting in a low fluorescence brightness value.
  • the membrane brightness continuity calculation method if the proportion of range 70 to the entire circumference of the outline of the cell nucleus 60 is equal to or less than a predetermined value, the cell associated with the cell nucleus 60 is determined to be a positive cell.
  • FIG. 21 is a flowchart showing an example of processing using the on-film luminance continuity calculation method according to the first embodiment.
  • the processing according to the flowchart in FIG. 21 corresponds to the processing of step S15 in the flowchart in FIG. 13.
  • step S150 the analysis unit 134 calculates the contour points of the cell membrane. For example, the analysis unit 134 calculates the positions of the contour points on the cell membrane detected by the membrane detection in step S13 of FIG. 13.
  • step S151 the analysis unit 134 calculates the luminance value l(p) of the pixel at each contour point p. At this time, as explained using FIG. 19, the analysis unit 134 calculates the average value of the luminance value of the pixel of interest and the luminance values of multiple pixels in the vicinity of the pixel of interest as the luminance value l(p) of the pixel of interest.
  • Fig. 22 is a schematic diagram for explaining the concatenation of luminance values.
  • the horizontal axis indicates the length in the contour direction (contour length L) when an arbitrary contour point p0 of the membrane contour is set as the starting point, and the vertical axis indicates the luminance value l(p).
  • the analysis unit 134 calculates the luminance value l(p) of each contour point p, for example, from the contour point p0 , which is the start point, to the contour point p1 , which is the end point, which is a position that has gone around the membrane contour from the start point.
  • the luminance value l( p0 ) of the start point (contour point p0 ) and the luminance value l( p0 ) of the end point (contour point p1) are linked.
  • the luminance value l(p) at the contour points p0 to p1 are duplicated and linked as the luminance value l(p)' as shown by the dotted line. This makes it possible to obtain the luminance value l(p) of each continuous contour point p for one circumference of the contour.
  • the analysis unit 134 calculates a maximum consecutive length Lcon, which is the length of consecutive contour points p having a luminance value l(p) exceeding a threshold value lth , based on the luminance values l(p) of each consecutive contour point around one circumference of the contour calculated in step S152.
  • the analysis unit 134 determines whether or not the maximum continuous defect rate X calculated in step S153 exceeds a threshold value Xth (X> Xth ?).
  • the process proceeds to step S155, and the cell is determined to be negative.
  • the analysis unit 134 determines that the maximum continuous defect rate X is equal to or less than the threshold value Xth (step S154, "No"), the process proceeds to step S156, and the cell is determined to be positive. That is, in the on-membrane luminance continuity calculation method, the maximum continuous defect rate X may be an objective index for a positive determination.
  • Figure 23 is a schematic diagram showing examples of actual data of the results of each positive determination method.
  • Figure 23 shows examples of the number of detections of CD4 single positive, CD8 single positive, both CD4 and CD8 positive, and both CD4 and CD8 negative, using (a) the average brightness method, (b) the positive pixel method, (c) a combination of the average brightness method and the positive pixel method, and (d) the on-membrane brightness continuity calculation method.
  • the unit is individuals, and Ground Truth indicates the true value.
  • Figure 24 is a schematic diagram showing examples of TP (True Positive), FP (False Positive), FN (False Negative), and TN (True Positive), as well as sensitivity, specificity, and accuracy, for each of (a) the average luminance method, (b) the positive pixel method, (c) a combination of the average luminance method and the positive pixel method, and (d) the on-film luminance continuity calculation method.
  • the results shown in FIG. 24 can be calculated by the analysis unit 134 in any combination, for example, based on the results of steps S14a and S14b in the flowchart of FIG. 13.
  • the combination of (c) the average luminance method and the positive pixel method is said to perform best among the four positivity determination methods, but the analysis unit 134 may calculate the determination result by combining two or more of (a) the average luminance method, (b) the positive pixel method, and (d) the on-membrane luminance continuity calculation method.
  • the information processing device 100 can display the determination results by the analysis unit 134 on the display device 1020 via the display unit 140.
  • the information processing device 100 may present a UI (User Interface) to the user that allows the user to specify a combination of positive determination methods according to the determination results by each positive determination method displayed on the display device 1020.
  • the analysis unit 134 may, for example, calculate a determination result according to the combination of positive determination methods specified by the user using the UI, and present the result to the user via the display unit 140.
  • the image processing system by performing color separation and analysis processing under the same conditions for the unstained image and the stained image, it is possible to match the conditions as a negative control. Therefore, the calculation result for the negative control can be set as the positive determination threshold for the stained image. Since a threshold based on objective numerical values from the negative control can be adopted, applying the image processing system according to the first embodiment eliminates the need to subjectively determine the threshold while viewing the image, which contributes to reproducibility independent of the doctor (user) and a reduction in the time that doctors spend on making judgments.
  • the image processing system by performing calculations for each cell taking into account leakage from adjacent cells, it is possible to more accurately determine the positivity of each individual cell. This makes it possible to further improve the accuracy of positive determinations.
  • highly accurate positive determinations can be made on the tissue as is (on the tissue photograph image) without sorting the cells one by one, which is useful for obtaining new indicators such as the spatial positional relationships of cell populations.
  • Patent Documents 1, 2, and 3 describe techniques for normalizing only stained images without using a control, or for adjusting the conditions even if a control is used.
  • Patent Document 1 describes a method for determining a threshold by normalizing the expression level in multiple ROIs (Regions of Interest), but does not use a control or any other method.
  • Patent Document 2 describes the need to normalize the expression level, but does not describe an objective index such as using a control.
  • Patent Document 3 describes a method for calculating a threshold from a negative control, but does not perform the same analysis on both stained and unstained images.
  • Patent Documents 1 to 3 make no mention of spatial leakage between adjacent cells.
  • Patent Documents 1 to 3 the conditions for the negative control are not consistent with those for the stained image, and although it is possible to set the threshold value objectively to a certain extent, it is considered difficult to apply the same method between different tissues.
  • the positive determination method according to the first embodiment of the present disclosure functions as a control by applying the same color separation and analysis processes to the unstained image and the stained image. Furthermore, the positive determination method according to the first embodiment of the present disclosure takes into account spatial leakage between adjacent cells, which is not taken into account in Patent Documents 1 to 3, making it possible to improve accuracy compared to positive determination methods using existing technology.
  • an optimal method according to the application is combined to perform an actual positive determination, thereby enabling an effect more in line with the objective to be obtained.
  • FIG. 25 is a schematic diagram for explaining an example of the flow of positive determination processing according to the second embodiment.
  • the image processing system according to the second embodiment performs nucleus detection by processing in step S12 of the flowchart in FIG. 13, and then performs cell detection (step S130).
  • the processing in step S13 may correspond to the processing in step S13 of the flowchart in FIG. 13.
  • the image processing system performs antibody value calculation processing (not shown) corresponding to steps S14a and S14b of the flowchart in FIG. 13, and transitions to the positive determination processing in step S15.
  • step S1500 the image processing system performs image preprocessing on the stained and unstained images in which nuclei and cells have been detected, for example, by the analysis unit.
  • the image preprocessing may be, for example, processing to deal with spillover between adjacent cells, such as autofluorescence, or non-specific adsorption.
  • the analysis unit 134 passes the image preprocessed in step S1500 to one or more of the following processes: average luminance calculation process for each cell (step S1501a), positive pixel calculation process for each cell (step S1501b), index calculation process for each cell that takes spatial leakage into account (step S1501c), etc., and machine learning-based judgment process (step S1503).
  • step S1501a corresponds to the above-mentioned (a) average luminance method.
  • step S1501b corresponds to the above-mentioned (b) positive pixel method.
  • step S1501c the process of calculating the index for each cell that takes spatial leakage into account in step S1501c corresponds to the above-mentioned (c) on-membrane luminance continuity calculation method.
  • the analysis unit 134 performs threshold processing on the processing results of steps S1501a to 1501c in step S1502 to make a positive judgment. At this time, the analysis unit 134 may select a positive judgment process from each of the positive judgment processes of steps S1501a to 1501c according to the content of the positive judgment, and perform threshold judgment on the processing result. At this time, the analysis unit 134 may perform threshold judgment by combining the processing results of multiple positive judgment processes from each of the positive judgment processes of steps S1501a to 1501c. The analysis unit 134 may select the positive judgment process to be used for threshold judgment in response to a user instruction, or may select and reprocess based on each processing result.
  • step S1503 a positive judgment is made by AI processing using a learning model generated by machine learning.
  • the analysis unit 134 outputs the positive determination result obtained by the threshold processing in step S1502 or the positive determination result obtained by the machine learning-based determination processing in step S1503 as output data 80.
  • the output data 80 is displayed on the display device 1020 by the display unit 140, for example, and presented to the user.
  • the image pre-processing in step S1500 is performed after the cell detection processing in step S130, but this is not limited to this example.
  • the image pre-processing in step S1500 may be performed before the processing in step S12, or between the processing in step S12 and the processing in step S130.
  • FIG. 26 is a schematic diagram showing an example of the detection results when cell detection is performed without nucleus detection, comparing the correct label of the cell boundary, the results of cell detection from the cell nucleus, and the results of only cell detection using AI (machine learning-based judgment).
  • the example where only cell detection was performed by AI has high tracking ability to the correct level.
  • an index calculated by the membrane luminance continuity calculation method is more effective, and in this case, it is preferable to select, for example, index calculation that takes into account space in step S1501c in the configuration of Figure 25. Without being limited to this, it is also possible to perform positive cell determination using the AI detection reliability of the membrane detection itself.
  • a method can be selected from multiple positive determination methods according to the application, making it possible to perform actual positive determination with higher accuracy.
  • the present technology can also be configured as follows. (1) Executed by a processor, a first analysis step of performing a first analysis process including cell detection on a stained image obtained by photographing a stained specimen created by staining a specimen including target cells with a fluorescent reagent; a second analysis step of performing a second analysis process identical to the first analysis process on an unstained image obtained by capturing an unstained specimen that includes the target cell and is identical and/or similar to the specimen; Including, outputting an indicator of whether the target cell is a positive cell based on a difference between an analysis result obtained by the first analysis process and an analysis result obtained by the second analysis process; Positive determination method.
  • One of the first analysis process and the second analysis process includes at least one of cell segmentation and antibody value calculation.
  • the determining step includes: calculating the objective index based on a length of succession of points having a brightness value equal to or less than a predetermined value in the membrane contour based on the cell; The positive determination method described in (3) above. (7) If the length is equal to or less than a threshold, the cell associated with the membrane contour is determined to be a positive cell. The positive determination method described in (6) above. (8) The length is calculated by connecting the acquisition start point and the acquisition end point of the brightness value on the membrane contour. A positive determination method described in (6) or (7). (9) The average brightness of the area between the nuclear contour and the membrane contour based on the cell for the stained image is used as the index. The positive determination method described in (3) above.
  • the first analysis step and the second analysis step each include: performing color separation using matrix decomposition by a least squares method on the stained image and the unstained image, respectively, to remove autofluorescence components from the stained image and the unstained image, and performing the first analysis process and the second analysis process on the stained image and the unstained image from which the autofluorescence components have been removed; A positive determination method described in any one of (1) to (9). (11) Presenting a list of each of the positive determination results by the multiple types of determination methods; A positive determination method described in any one of (1) to (10).
  • the first analysis step and the second analysis step include: performing said cell detection without nuclei detection; A positive determination method described in any one of (12) to (14).
  • an imaging device for photographing the specimen and outputting the image An analysis unit that performs analysis processing including cell detection on the image; A determination unit that performs a positive determination based on the result of the analysis process; An information processing device having A presentation unit that presents the result of the positive determination; Equipped with The determination unit is outputting an indicator of whether the target cell is a positive cell or not from a difference between a first analysis result obtained by performing the analysis process on a stained image obtained by photographing a stained specimen prepared by staining a specimen containing the target cell with a fluorescent reagent, and a second analysis result obtained by performing the same analysis process as the analysis process on an unstained image obtained by photographing an unstained specimen containing the target cell and which is the same and/or similar to the specimen; Image analysis system.
  • An analysis unit that performs analysis processing including cell detection on an image of a specimen; A determination unit that performs a positive determination based on the result of the analysis process; Equipped with The determination unit is outputting an indicator of whether the target cell is a positive cell or not from a difference between a first analysis result obtained by performing the analysis process on a stained image obtained by photographing a stained specimen prepared by staining a specimen containing the target cell with a fluorescent reagent, and a second analysis result obtained by performing the same analysis process as the analysis process on an unstained image obtained by photographing an unstained specimen containing the target cell and which is the same and/or similar to the specimen; Information processing device.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Physics & Mathematics (AREA)
  • Hematology (AREA)
  • Medicinal Chemistry (AREA)
  • Food Science & Technology (AREA)
  • Urology & Nephrology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本開示に係る陽性判定方法は、プロセッサにより実行される、対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対して細胞検出を含む第１の解析処理を行う第１の解析ステップと、前記対象細胞を含み、前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対して前記第１の解析処理と同一の第２の解析処理を行う第２の解析ステップと、を含み、前記第１の解析処理による解析結果と前記第２の解析処理による解析結果との差分から前記対象細胞が陽性細胞であるか否かの指標を出力する。

Description

陽性判定方法、画像解析システムおよび情報処理装置
　本開示は、陽性判定方法、画像解析システムおよび情報処理装置に関する。
　陽性判定を行う手法として、発光波長の異なる複数の蛍光色素を用いて蛍光染色した試料を撮影した多重染色画像に基づく手法が知られている（例えば特許文献１～３）。
米国特許出願公開第２０１１／１３２８８６６５号明細書 米国特許出願公開第２０１７／１５４４８５５０号明細書 米国特許出願公開第２０１６／１５３９６５３６号明細書
　既存技術における多重染色画像における陽性判定では、細胞の自家蛍光の漏れ込み、隣接細胞の空間的漏れ込みの影響が、不正確な判定の要因となっている。このために、陽性判定のための閾値は目視確認に頼っている現状があり、客観的かつ正確な陽性判定が実現できていない。
　本開示は、客観的な指標に基づき陽性判定を行うことが可能な陽性判定方法、画像解析システムおよび情報処理装置を提供することを目的とする。
　本開示に係る陽性判定方法は、プロセッサにより実行される、対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対して細胞検出を含む第１の解析処理を行う第１の解析ステップと、前記対象細胞を含み、前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対して前記第１の解析処理と同一の第２の解析処理を行う第２の解析ステップと、を含み、前記第１の解析処理による解析結果と前記第２の解析処理による解析結果との差分から前記対象細胞が陽性細胞であるか否かの指標を出力する。
本開示の実施形態に適用可能な情報処理システムの構成例を示すブロック図である。 蛍光信号取得部によって取得された蛍光スペクトルの具体例を示す模式図である。 蛍光信号取得部によって取得された蛍光スペクトルの具体例を示す模式図である。 波長分解能を８ｎｍとした場合のＡＦ５４６とＡＦ５５５との蛍光スペクトルを示す図である。 波長分解能を１ｎｍとした場合のＡＦ５４６とＡＦ５５５との蛍光スペクトルを示す図である。 蛍光信号取得部によって取得された蛍光スペクトルから生成される連結蛍光スペクトルの一例を示す図である。 各実施形態に適用可能な分離処理部のより具体的な構成例を示すブロック図である。 自家蛍光物質が、Ｈｅｍｏｇｌｏｂｉｎ、ＡｒｃｈｉｄｏｎｉｃＡｃｉｄ、Ｃａｔａｌａｓｅ、Ｃｏｌｌａｇｅｎ、ＦＡＤ、ＮＡＤＰＨ、およびＰｒｏＬｏｎｇＤｉａｍｏｎｄである場合の連結自家蛍光参照スペクトルの具体例を示す模式図である。 計測チャネルを説明するための模式図である。 各実施形態に適用可能な情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例を示す模式図である。 情報処理装置による蛍光分離に伴う一連の処理フロー例を示す一例のフローチャートである。 各実施形態に適用可能な情報処理装置の一例のハードウェア構成を示すブロック図である。 第１の実施形態に係る陽性判定方法を示す一例のフローチャートである。 第１の実施形態に適用される色分離処理と、バーチャルフィルタを用いた色分離処理とを説明するための模式図である。 色分離をバーチャルフィルタを用いて行った結果と、第１の実施形態に適用される色分離用いて行った結果とを比較して示す模式図である。 空間的漏れ込みによる誤判定を説明するための模式図である。 既存技術に係る平均輝度法を説明するための模式図である。 第１の実施形態に係る陽性ピクセル法を説明するための模式図である。 第１の実施形態に係る膜上輝度連続性計算法を説明するための模式図である。 第１の実施形態に係る膜上輝度連続性計算法をより具体的に説明するための模式図である。 第１の実施形態に係る膜上輝度連続性計算法による処理を示す一例のフローチャートである。 輝度値の連結を説明するための模式図である。 各陽性判定方法による判定結果の実データ例を示す模式図である。 平均輝度法、陽性ピクセル法、平均輝度法と陽性ピクセル法との組み合わせ、膜上輝度連続性計算法、のそれぞれにおける、ＴＰ、ＦＰ、ＦＮおよびＴＮ、ならびに、感度、特異度および正確さの例を示す模式図である。 第２の実施形態に係る陽性判定処理の流れの例を説明するための模式図である。 核検出を行わずに細胞検出を行った場合の検出結果の例を示す模式図である。
　以下、本開示の実施形態について、図面に基づいて詳細に説明する。なお、以下の実施形態において、同一の部位には同一の符号を付することにより、重複する説明を省略する。
　以下、本開示の実施形態について、下記の順序に従って説明する。
１．既存技術について
２．実施形態に適用可能な構成
３．第１の実施形態
　３－１．第１の実施形態に係る処理
　３－２．非染色画像を用いた主観のみに頼らない閾値設定について
　３－３．細胞の空間的漏れ込みを抑制可能な陽性判定手法について
　３－４．各陽性判定方法による判定結果の例
４．第２の実施形態
（１．既存技術について）
　本開示に係る既存技術について説明する。
　陽性判定を行う手法として、発光波長の異なる複数の蛍光色素を用いて蛍光染色した試料を撮影した多重染色画像に基づく手法が知られている。多重染色画像における陽性判定においては、細胞の自家蛍光の漏れ込み、隣接細胞の空間的漏れ込みの影響が、不正確な判定の要因となっている。このために、現状では、陽性判定のための閾値を、目視確認に頼って決定しており、客観的かつ正確な陽性判定が実現できていない。
　一方、組織の中の細胞は、１つ１つ分離して存在しているわけではなく、互いが隣接している。そのため、１つ１つの細胞が陽性になっているかをより正確に判断するためには、尤もらしい閾値を組織画像を見ながら主観で決める必要があった。より詳細には、既存技術においては、陽性判定のための閾値を、医師や研究者が手入力し、細胞集団に対して最適な閾値を目視で確認する作業により、陽性判定が行われてきた。この方法によれば、作業者には時間的な負担がかかり、また主観により結果にばらつきが生じる（再現性が保たれない）おそれもある。
　なお、陽性細胞とは、特定のバイオマーカ、遺伝子、またはタンパク質など、目的とする分子標的を発現または存在している細胞のことを指す。これらの細胞は、例えば蛍光標識抗体を用いた免疫染色法、ＰＣＲ(Polymerase　Chain　Reaction)法、ウェスタンブロットといった特定の検出手法や検査技術法を用いることで、陰性細胞（目的とする分子標的を発現または存在していない細胞）と区別することが可能である。
　この陽性細胞と陰性細胞との区別は、研究や治療戦略の策定、および治療効果の評価において重要な意義を持つ。陽性細胞は、病態や細胞の機能に関連する情報を提供するため、疾患診断や治療の標的として利用されることが多い。例えば、癌細胞においては、特定の癌関連遺伝子やタンパク質の発現状況を陽性細胞として識別することで、治療戦略の選択や予後の評価が可能となる。また、感染症の診断においても、病原体の遺伝子やタンパク質の存在を示す陽性細胞の検出により、感染の確認や治療法の選択に役立てることが可能である。
　また、上述したように、組織の中の細胞は互いに隣接しており、多重染色画像に基づく陽性判定手法は、細胞をソートするシステムと異なり、空間的に隣接細胞からの光の漏れ込みも免れない。これにより、既存技術による手法では、本来は陽性でない細胞も隣の陽性細胞の影響を受けて陽性と判断されてしまうような事例が発生するおそれがある。
　そのため、本開示では、非染色画像と染色画像の両方に対して同条件で色分離（自家蛍光除去）や解析を行うことで、陽性判定に関する客観的な閾値決定を実現可能とする。また、本開示では、隣接細胞間の空間的な漏れ込みを軽減可能な輝度情報の算出手法を提案することでも、陽性判定に関する客観的な閾値決定を実現可能とする。これらにより、本開示では、多重染色画像において正確かつ客観的な細胞の陽性判定を実施することを可能とする。
（２．実施形態に適用可能な構成）
　本開示の各実施形態に適用可能な構成について説明する。
　図１は、本開示の実施形態に適用可能な情報処理システムの構成例を示すブロック図である。図１に示すように、実施形態に適用可能な情報処理システムは、情報処理装置１００と、データベース２００と、を備え、情報処理システムへの入力として、蛍光試薬１０、標本２０と、蛍光染色標本３０と、が存在する。
（蛍光試薬１０）
　蛍光試薬１０は、標本２０の染色に使用される薬品である。蛍光試薬１０は、例えば、蛍光抗体（直接標識に使用される一次抗体、または間接標識に使用される二次抗体が含まれる）、蛍光プローブ、または核染色試薬等であるが、蛍光試薬１０の種類はこれらに限定されない。また、蛍光試薬１０は、蛍光試薬１０（または蛍光試薬１０の製造ロット）を識別可能な識別情報（以降「試薬識別情報１１」と呼称する）を付されて管理される。
　試薬識別情報１１は、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。蛍光試薬１０は、同一の製品であっても、製造方法や抗体が取得された細胞の状態等に応じて製造ロット毎にその性質が異なる。例えば、蛍光試薬１０において、製造ロット毎にスペクトル、量子収率、または蛍光標識率等が異なる。そこで、当該情報処理システムにおいて、蛍光試薬１０は、試薬識別情報１１を付されることによって製造ロット毎に管理される。これによって、情報処理装置１００は、製造ロット毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
（標本２０）
　標本２０は、人体から採取された検体または組織サンプルから病理診断などを目的に作製されたものである。標本２０は、組織切片や細胞や微粒子でもよく、標本２０について、使用される組織（例えば臓器等）の種類、対象となる疾病の種類、対象者の属性（例えば、年齢、性別、血液型、または人種等）、または対象者の生活習慣（例えば、食生活、運動習慣、または喫煙習慣等）は特に限定されない。なお、組織切片には、例えば、染色される組織切片（以下、単に切片ともいう）の染色前の切片、染色された切片に隣接する切片、同一ブロック（染色切片と同一の場所からサンプリングされたもの）における染色切片と異なる切片、又は同一組織における異なるブロック（染色切片と異なる場所からサンプリングされたもの）における切片、異なる患者から採取した切片などが含まれ得る。
　また、標本２０は、各標本２０を識別可能な識別情報（以降、「標本識別情報２１」と呼称する）を付されて管理される。標本識別情報２１は、試薬識別情報１１と同様に、例えばバーコード情報等（一次元バーコード情報や二次元バーコード情報等）であるが、これに限定されない。標本２０は、使用される組織の種類、対象となる疾病の種類、対象者の属性、または対象者の生活習慣等に応じてその性質が異なる。例えば、標本２０において、使用される組織の種類等に応じて計測チャネルまたはスペクトル等が異なる。そこで、当該情報処理システムにおいて、標本２０は、標本識別情報２１を付されることによって個々に管理される。これによって、情報処理装置１００は、標本２０毎に現れる僅かな性質の違いも考慮した上で蛍光分離を行うことができる。
（蛍光染色標本３０）
　蛍光染色標本３０は、標本２０が蛍光試薬１０により染色されることで作成されたものである。各実施形態において、蛍光染色標本３０は、標本２０が１以上の蛍光試薬１０によって染色されることを想定しているところ、染色に用いられる蛍光試薬１０の数は特に限定されない。また、染色方法は、標本２０および蛍光試薬１０それぞれの組み合わせ等によって決まり、特に限定されるものではない。
（情報処理装置１００）
　情報処理装置１００は、図１に示すように、取得部１１０と、保存部１２０と、処理部１３０と、表示部１４０と、制御部１５０と、操作部１６０と、を備える。情報処理装置１００は、例えば蛍光顕微鏡等であり得るところ、必ずしもこれに限定されず種々の装置を含んでもよい。例えば、情報処理装置１００は、ＰＣ(Personal　Computer)等であってもよい。
（取得部１１０）
　取得部１１０は、情報処理装置１００の各種処理に使用される情報を取得する構成である。図１に示すように、取得部１１０は、情報取得部１１１と、蛍光信号取得部１１２と、を備える。
（情報取得部１１１）
　情報取得部１１１は、蛍光試薬１０に関する情報（以降、「試薬情報」と呼称する）や、標本２０に関する情報（以降、「標本情報」と呼称する）を取得する構成である。より具体的には、情報取得部１１１は、蛍光染色標本３０の生成に使用された蛍光試薬１０に付された試薬識別情報１１、および標本２０に付された標本識別情報２１を取得する。例えば、情報取得部１１１は、バーコードリーダー等を用いて試薬識別情報１１および標本識別情報２１を取得する。そして、情報取得部１１１は、試薬識別情報１１に基づいて試薬情報を、標本識別情報２１に基づいて標本情報をそれぞれデータベース２００から取得する。情報取得部１１１は、取得したこれらの情報を後述する情報保存部１２１に保存する。
　ここで、各実施形態において、標本情報には、標本２０における自家蛍光物質のスペクトルが波長方向に連結された連結自家蛍光参照スペクトルが含まれ、試薬情報には、蛍光染色標本３０における蛍光物質のスペクトルが波長方向に連結された連結蛍光参照スペクトルが含まれるとする。なお、連結自家蛍光参照スペクトル及び連結蛍光参照スペクトルを併せて「参照スペクトル」と呼称する。
（蛍光信号取得部１１２）
　蛍光信号取得部１１２は、蛍光染色標本３０（標本２０が蛍光試薬１０により染色されることで作成されたもの）に対して、波長が互いに異なる複数の励起光が照射されたときの、複数の励起光それぞれに対応する複数の蛍光信号を取得する構成である。より具体的には、蛍光信号取得部１１２は、光を受光し、その受光量に応じた検出信号を出力することで、当該検出信号に基づいて蛍光染色標本３０の蛍光スペクトルを取得する。ここで、励起光の内容（励起波長や強度等を含む）は試薬情報等（換言すると、蛍光試薬１０に関する情報等）に基づいて決定される。なお、ここでいう蛍光信号は蛍光に由来する信号であれば特に限定されず、例えば蛍光スペクトルでもよい。
　図２のセクション（ａ）～（ｄ）は、蛍光信号取得部１１２によって取得された蛍光スペクトルの具体例である。図２のセクション（ａ）～（ｄ）では、蛍光染色標本３０に、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４、およびＥＲ／ＡＦ６４７という４種の蛍光物質が含まれ、それぞれの励起波長として３９２［ｎｍ］（図２のセクション（ａ））、４７０［ｎｍ］（図２のセクション（ｂ））、５４９［ｎｍ］（図２のセクション（ｃ））、６２８［ｎｍ］（図２のセクション（ｄ））を有する励起光が照射された場合に取得された蛍光スペクトルの具体例が示されている。なお、蛍光発光のためにエネルギーが放出されることにより、蛍光波長は励起波長よりも長波長側にシフトしている点に留意されたい（ストークスシフト）。また、蛍光染色標本３０に含まれる蛍光物質、及び照射される励起光の励起波長は上記に限定されない。蛍光信号取得部１１２は、取得した蛍光スペクトルを後述する蛍光信号保存部１２２に保存する。
（保存部１２０）
　保存部１２０は、情報処理装置１００の各種処理に使用される情報、または各種処理によって出力された情報を保存する構成である。図１に示すように、保存部１２０は、情報保存部１２１と、蛍光信号保存部１２２と、を備える。
（情報保存部１２１）
　情報保存部１２１は、情報取得部１１１によって取得された試薬情報および標本情報を保存する構成である。
（蛍光信号保存部１２２）
　蛍光信号保存部１２２は、蛍光信号取得部１１２によって取得された蛍光染色標本３０の蛍光信号を保存する構成である。
（処理部１３０）
　処理部１３０は、蛍光分離処理を含む各種処理を行う構成である。図１に示すように、処理部１３０は、連結部１３１と、分離処理部１３２と、画像生成部１３３と、解析部１３４と、を備える。
（連結部１３１）
　連結部１３１は、蛍光信号取得部１１２によって取得された複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する構成である。例えば、連結部１３１は、上記で蛍光信号取得部１１２によって取得された４つの蛍光スペクトル（図３のセクション（ａ）～（ｄ））それぞれにおける蛍光強度の最大値を含むように、各蛍光スペクトルにおける所定幅のデータを抽出する。
　連結部１３１がデータを抽出する波長帯域の幅は、試薬情報、励起波長又は蛍光波長等に基づいて決定され得、各蛍光物質についてそれぞれ異なっていてもよい。換言すると、連結部１３１がデータを抽出する波長帯域の幅は、図３のセクション（ａ）～（ｄ）に示された蛍光スペクトルそれぞれで異なっていてもよい。
　そして図３のセクション（ｅ）に示すように、連結部１３１は、抽出したデータを波長方向に互いに連結することで一つの連結蛍光スペクトルを生成する。なお、連結蛍光スペクトルは、複数の蛍光スペクトルから抽出されたデータによって構成されるため、連結された各データの境界では波長が連続していない点に留意されたい。
　このとき、連結部１３１は、励起光の強度に基づいて、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に（換言すると、複数の蛍光スペクトルを補正した後に）上記の連結を行う。より具体的には、連結部１３１は、励起光の強度である励起パワー密度で各蛍光スペクトルを除算することで、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えた後に上記の連結を行う。これによって、同一強度の励起光が照射された場合の蛍光スペクトルが求められる。また、照射される励起光の強度が異なる場合、その強度に応じて蛍光染色標本３０に吸収されるスペクトル（以降、「吸収スペクトル」と呼称する）の強度も異なる。したがって、上記のように、複数の蛍光スペクトルそれぞれに対応する励起光の強度が揃えられることで、吸収スペクトルを適切に評価することができる。
　本説明における励起光の強度は、上述したように、励起パワーや励起パワー密度であってよい。励起パワー又は励起パワー密度は、光源１０４から出射した励起光を実測することで得られたパワー又はパワー密度であってもよいし、光源１０４に与える駆動電圧から求まるパワー又はパワー密度であってもよい。なお、本説明における励起光の強度は、上記励起パワー密度を、観測対象である切片の各励起光に対する吸収率や、切片から放射した蛍光を検出する検出系（蛍光信号取得部１１２等）における検出信号の増幅率等で補正することで得られた値であってもよい。すなわち、本説明における励起光の強度は、蛍光物質の励起に実際に寄与した励起光のパワー密度や、そのパワー密度を検出系の増幅率等で補正した値等であってもよい。吸収率や増幅率等を考慮することで、マシン状態や環境等の変化に応じて変化する励起光の強度を適切に補正することが可能となるため、より高い精度の色分離を可能にする連結蛍光スペクトルを生成することが可能となる。
　なお、各蛍光スペクトルに対する励起光の強度に基づいた補正値（強度補正値ともいう）は、複数の蛍光スペクトルそれぞれに対応する励起光の強度を揃えるための値に限定されず、種々変形されてよい。例えば、長波長側に強度ピークを持つ蛍光スペクトルのシグナル強度は、短波長側に強度ピークを蛍光スペクトルのシグナル強度よりも低い傾向にある。そのため、連結蛍光スペクトルに長波長側に強度ピークを持つ蛍光スペクトルと短波長側に強度ピークを持つ蛍光スペクトルとの両方が含まれる場合、長波長側に強度ピークを持つ蛍光スペクトルが殆加味されず、短波長側に強度ピークを持つ蛍光スペクトルだけが抽出されてしまう場合がある。そのような場合、例えば、長波長側に強度ピークを持つ蛍光スペクトルに対する強度補正値をより大きな値とすることで、短波長側に強度ピークを蛍光スペクトルの分離精度を高めることも可能である。
　また、連結部１３１は、連結する複数の蛍光スペクトルそれぞれの波長分解能を他の蛍光スペクトルから独立して補正してもよい。例えば、ＡＦ５４６の蛍光スペクトルとＡＦ５５５の蛍光スペクトルとは、そのスペクトル形状及びピーク波長が殆ど同じであり、違いがＡＦ５５５の蛍光スペクトルには高波長側の裾部分にショルダがあるのに対してＡＦ５４６の蛍光スペクトルにはそれが無い点である。このように、２つの蛍光スペクトルが近しい場合、スペクトル抽出にて両者を色分離することが困難になるという問題が発生する。
　このような問題は、連結蛍光スペクトルの波長分解能を高くすることで解決できる場合がある。図４は、波長分解能を８ｎｍとした場合のＡＦ５４６とＡＦ５５５との蛍光スペクトルを示す図であり、図５は、波長分解能を１ｎｍとした場合のＡＦ５４６とＡＦ５５５との蛍光スペクトルを示す図である。
　図４に示すように、波長分解能を８ｎｍとした場合、ＡＦ５４６のスペクトル形状及びピーク波長とＡＦ５５５のスペクトル形状及びピーク波長とは略一致してしまう。そのため、例えば最小二乗法を用いてこれらを色分離することは事実上困難になる。
　それに対し、図５に示すように、波長分解能を図４に示す波長分解能の８倍、すなわち、１ｎｍとした場合、ＡＦ５４６のスペクトル形状及びピーク波長とＡＦ５５５のスペクトル形状及びピーク波長とを明確に分離することができる。これは、スペクトル形状及びピーク波長が近しい複数の蛍光スペクトルを用いる場合でも、波長分解能を高くすることでそれらを用いて色分離することが可能であることを示している。
　ただし、波長分解能を高めると、連結蛍光スペクトルのデータ量が大きくなり、必要なメモリ容量や蛍光分離処理における計算コスト等が増大してしまう。そこで、連結部１３１は、連結する複数の蛍光スペクトルのうち、色分離が困難であることが想定される蛍光スペクトルをその波長分解能が高くなるように補正し、色分離が容易であることが想定される蛍光スペクトルをその波長分解能が低くなるように補正する。それにより、データ量の増大化を抑制しつつ、色分離精度を向上させることが可能となる。
　ここで、連結部１３１による連結蛍光スペクトルの生成方法について、具体例を挙げて説明する。本説明では、上述において図３を用いて説明した連結蛍光スペクトルの生成方法と同様に、ＤＡＰＩ、ＣＫ／ＡＦ４８８、ＰｇＲ／ＡＦ５９４、およびＥＲ／ＡＦ６４７という４種の蛍光物質を含む蛍光染色標本３０に、それぞれの励起波長として３９２ｎｍ、４７０ｎｍ、５４９ｎｍ、６２８ｎｍを有する励起光を照射することで得られた４つの蛍光スペクトルを連結する場合を例示する。
　図６は、図３のセクション（ａ）～（ｄ）に示す蛍光スペクトルから生成される連結蛍光スペクトルの一例を示す図である。
　図６に示すように、連結部１３１は、図３のセクション（ａ）に示す蛍光スペクトルから励起波長３９２ｎｍ以上５９１ｎｍ以下の波長帯域の蛍光スペクトルＳＰ１を抽出し、図３のセクション（ｂ）に示す蛍光スペクトルから励起波長４７０ｎｍ以上６６９ｎｍ以下の波長帯域の蛍光スペクトルＳＰ２を抽出し、図３のセクション（ｃ）に示す蛍光スペクトルから励起波長５４９ｎｍ以上７４８ｎｍ以下の波長帯域の蛍光スペクトルＳＰ３を抽出し、図３のセクション（ｄ）に示す蛍光スペクトルから励起波長６２８ｎｍ以上８２７ｎｍ以下の波長帯域の蛍光スペクトルＳＰ４を抽出する。
　次に、連結部１３１は、抽出した蛍光スペクトルＳＰ１の波長分解能を１６ｎｍに補正し（強度補正は無し）、蛍光スペクトルＳＰ２の強度を１．２倍に補正するとともに波長分解能を８ｎｍに補正し、蛍光スペクトルＳＰ３の強度を１．５倍に補正し（波長分解能の補正は無し）、蛍光スペクトルＳＰ４の強度を４．０倍に補正するとともに波長分解能を４ｎｍに補正する。そして、連結部１３１は、補正後の蛍光スペクトルＳＰ１～ＳＰ４を順番に連結することで、図６に示すような連結蛍光スペクトルを生成する。
　なお、図６には、連結部１３１が各蛍光スペクトルを取得した際の励起波長から所定帯域幅（図６では２００ｎｍ幅）の蛍光スペクトルＳＰ１～ＳＰ４を抽出して連結した場合が示されているが、連結部１３１が抽出する蛍光スペクトルの帯域幅は、各蛍光スペクトルで一致している必要はなく、異なっていてもよい。すなわち、連結部１３１が各蛍光スペクトルから抽出する領域は、各蛍光スペクトルのピーク波長を含む領域であればよく、その波長帯域及び帯域幅については適宜変更されてよい。その際、ストークスシフトによるスペクトル波長のズレが考慮されてもよい。このように、抽出する波長帯域を絞り込むことで、データ量を削減することが可能となるため、より高速に蛍光分離処理を実行することが可能となる。
（分離処理部１３２）
　分離処理部１３２は、連結蛍光スペクトルを分子毎に分離する構成である。図７は、各実施形態に適用可能な分離処理部のより具体的な構成例を示すブロック図である。図７に示すように、分離処理部１３２は、色分離部１３２１と、スペクトル抽出部１３２２とを備える。
　色分離部１３２１は、例えば、第１色分離部１３２１ａと第２色分離部１３２１ｂとを備え、連結部１３１から入力された染色切片（染色サンプルともいう）の連結蛍光スペクトルを分子毎に色分離する。
　スペクトル抽出部１３２２は、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得ることができるように改良するための構成であり、情報保存部１２１から入力された標本情報に含まれる連結自家蛍光参照スペクトルを、色分離部１３２１による色分離結果に基づいて、より精度の高い色分離結果を得られるものに調整する。
　より具体的には、第１色分離部１３２１ａは、連結部１３１から入力された染色サンプルの連結蛍光スペクトルに対して、情報保存部１２１から入力された、試薬情報に含まれる連結蛍光参照スペクトルと標本情報に含まれる連結自家蛍光参照スペクトルとを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、例えば、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）等が用いられてもよい。
　スペクトル抽出部１３２２は、情報保存部１２１から入力された連結自家蛍光参照スペクトルに対して、第１色分離部１３２１ａから入力された色分離結果を用いたスペクトル抽出処理を実行し、その結果に基づいて連結自家蛍光参照スペクトルを調整することで、連結自家蛍光参照スペクトルをより精度の高い色分離結果を得られるものに改良する。なお、スペクトル抽出処理には、例えば、非負値行列因子分解（ＮＭＦ）や特異値分解（ＳＶＤ）等が用いられてもよい。
　第２色分離部１３２１ｂは、連結部１３１から入力された染色サンプルの連結蛍光スペクトルに対して、スペクトル抽出部１３２２から入力された調整後の連結自家蛍光参照スペクトルを用いた色分離処理を実行することで、連結蛍光スペクトルを分子ごとのスペクトルに分離する。なお、色分離処理には、第１色分離部１３２１ａと同様に、例えば、最小二乗法（ＬＳＭ）や重み付最小二乗法（ＷＬＳＭ）等が用いられてもよい。
　なお、図７では、連結自家蛍光参照スペクトルの調整を１回とした場合を例示したが、これに限定されず、第２色分離部１３２１ｂによる色分離結果をスペクトル抽出部１３２２に入力し、スペクトル抽出部１３２２において連結自家蛍光参照スペクトルの調整を再度実行する処理を１回以上繰り返した後に、最終的な色分離結果を取得するようにしてもよい。
　図８には、自家蛍光物質が、Ｈｅｍｏｇｌｏｂｉｎ、ＡｒｃｈｉｄｏｎｉｃＡｃｉｄ、Ｃａｔａｌａｓｅ、Ｃｏｌｌａｇｅｎ、ＦＡＤ、ＮＡＤＰＨ、およびＰｒｏＬｏｎｇＤｉａｍｏｎｄである場合の連結自家蛍光参照スペクトルの具体例が示されている。図９には、蛍光物質が、ＣＫ、ＥＲ、ＰｇＲ、およびＤＡＰＩである場合の連結蛍光参照スペクトルの具体例が示されている。連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルは、共に、連結部１３１による連結蛍光スペクトルと同様の方法で生成され得る（必ずしもこれに限定されない）。
　より具体的には、連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルは、連結蛍光スペクトルの生成時と同一の励起波長を有する複数の励起光によって取得された複数のスペクトルにおける所定の波長帯域幅のデータが波長方向に連結されることで生成され得る。このとき、励起光の強度（例えば、励起パワー密度）に基づいて、複数のスペクトルそれぞれに対応する励起光の強度が揃えられていることを想定している（必ずしもこれに限定されない）。
　なお、連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルの生成方法は必ずしも上記に限定されない。例えば、連結蛍光参照スペクトルおよび連結自家蛍光参照スペクトルは、各物質が有するスペクトルの理論値やカタログ値等に基づいて生成されてもよい。
　次に、最小二乗法に関する計算について説明する。最小二乗法は、連結部１３１によって生成された連結蛍光スペクトルを、参照スペクトルにフィッティングすることで、混色率を算出するものである。なお、混色率は、各物質が混ざり合う度合を示す指標である。以下の式（１）は、連結蛍光スペクトル（Ｓｉｇｎａｌ）から、参照スペクトル（Ｓｔ。連結蛍光参照スペクトル及び連結自家蛍光参照スペクトル）が混色率ａで混色されたものを減算して得られる残差を表す式である。なお、式（１）における「Ｓｉｇｎａｌ（１×チャンネル数）」とは、連結蛍光スペクトル（Ｓｉｇｎａｌ）が波長のチャンネル数だけ存在することを示している（例えば、Ｓｉｇｎａｌは、連結蛍光スペクトルを表す行列である）。また、「Ｓｔ（物質数×チャンネル数）」とは、参照スペクトルが、それぞれの物質（蛍光物質及び自家蛍光物質）について波長のチャンネル数だけ存在することを示している（例えば、Ｓｔは、参照スペクトルを表す行列である）。また、「ａ（１×物質数）」とは、混色率ａが各物質（蛍光物質及び自家蛍光物質）について設けられることを示している（例えば、ａは、連結蛍光スペクトルにおける参照スペクトルそれぞれの混色率を表す行列である）。
Figure JPOXMLDOC01-appb-M000001
　そして、第１色分離部１３２１ａ／第２色分離部１３２１ｂは、残差式（１）の２乗和が最小となる各物質の混色率ａを算出する。残差の２乗和が最小となるのは、残差を表す式（１）について、混色率ａに関する偏微分の結果が０である場合であるため、第１色分離部１３２１ａ／第２色分離部１３２１ｂは、以下の式（２）を解くことで残差の２乗和が最小となる各物質の混色率ａを算出する。なお、式（２）における「Ｓｔ´」は、参照スペクトルＳｔの転置行列を示している。また、「ｉｎｖ（Ｓｔ＊Ｓｔ´）」は、Ｓｔ＊Ｓｔ´の逆行列を示している。
Figure JPOXMLDOC01-appb-M000002
　ここで、上記式（１）の各値の具体例を以下の式（３）～式（５）に示す。式（３）～式（５）の例では、連結蛍光スペクトル（Ｓｉｇｎａｌ）において、３種の物質（物質数が３）の参照スペクトル（Ｓｔ）がそれぞれ異なる混色率ａで混色される場合が示されている。
Figure JPOXMLDOC01-appb-M000003
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
　そして、式（３）および式（５）の各値による上記式（２）の計算結果の具体例を以下の式（６）に示す。式（６）のとおり、計算結果として正しく「ａ＝（３　２　１）」（すなわち上記式（４）と同一の値）が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000006
　第１色分離部１３２１ａ／第２色分離部１３２１ｂは、上記のように、波長方向に連結された参照スペクトル（連結自家蛍光参照スペクトル及び連結蛍光参照スペクトル）を用いて蛍光分離処理を行うことで、分離結果として一意のスペクトルを出力することができる（励起波長毎に分離結果が分かれない）。したがって、実施者は、より容易に正しいスペクトルを得ることができる。また、分離に用いられる自家蛍光に関する参照スペクトル（連結自家蛍光参照スペクトル）が自動的に取得され、蛍光分離処理が行われることにより、実施者が非染色切片の適切な空間から自家蛍光に相当するスペクトルを抽出しなくてもよくなる。
　なお、第１色分離部１３２１ａ／第２色分離部１３２１ｂは、上述したように、最小二乗法ではなく重み付き最小二乗法(Weighted　Least　Square　Method)に関する計算を行うことにより連結蛍光スペクトルから蛍光物質ごとのスペクトルを抽出してもよい。重み付き最小二乗法においては、測定値である連結蛍光スペクトル（Ｓｉｇｎａｌ）のノイズがポアソン分布になることを利用して、低いシグナルレベルの誤差を重視するように重みが付けられる。ただし、重み付き最小二乗法で加重が行われない上限値をＯｆｆｓｅｔ値とする。Ｏｆｆｓｅｔ値は測定に使用されるセンサの特性によって決まり、センサとして撮像素子が使用される場合には別途最適化が必要である。重み付き最小二乗法が行われる場合には、上記の式（１）及び式（２）における参照スペクトルＳｔが以下の式（７）で表されるＳｔ＿に置換される。なお、以下の式（７）は、行列で表されるＳｔの各要素（各成分）を、同じく行列で表される「Ｓｉｇｎａｌ＋Ｏｆｆｓｅｔ値」においてそれぞれ対応する各要素（各成分）で除算（換言すると、要素除算）することでＳｔ＿を算出することを意味する。
Figure JPOXMLDOC01-appb-M000007
　ここで、Ｏｆｆｓｅｔ値が１であり、参照スペクトルＳｔおよび連結蛍光スペクトルＳｉｇｎａｌの値がそれぞれ上記の式（３）および式（５）で表される場合の、上記式（７）で表されるＳｔ＿の具体例を以下の式（８）に示す。
Figure JPOXMLDOC01-appb-M000008
　そして、この場合の混色率ａの計算結果の具体例を以下の式（９）に示す。式（９）のとおり、計算結果として正しく「ａ＝（３　２　１）」が算出されることがわかる。
Figure JPOXMLDOC01-appb-M000009
　蛍光スペクトルおよび自家蛍光スペクトルを分離した分離処理部１３２は、これらのスペクトルを用いて各種処理を行う。
　例えば、分離処理部１３２は、分離後の自家蛍光スペクトルを用いて、他の標本２０の画像情報に対して減算処理（「バックグラウンド減算処理」とも呼称する）を行うことで当該他の標本２０の画像情報から蛍光スペクトルを抽出してもよい。
　標本２０に使用される組織、対象となる疾病の種類、対象者の属性、および対象者の生活習慣などの観点で同一または類似の標本２０が複数存在する場合、これらの標本２０の自家蛍光スペクトルは類似している可能性が高い。ここでいう類似の標本とは、例えば染色される組織切片（以下切片）の染色前の組織切片、染色された切片に隣接及び連続する切片、同一ブロック（染色切片と同一の場所からサンプリングされたもの）における染色切片と異なる切片、又は同一組織における異なるブロック（染色切片と異なる場所からサンプリングされたもの）における切片等）、異なる患者から採取した切片などが含まれる。そこで、分離処理部１３２は、ある標本２０から自家蛍光スペクトルを抽出できた場合、他の標本２０の画像情報から当該自家蛍光スペクトルを除去することで、当該他の標本２０の画像情報から蛍光スペクトルを抽出してもよい。
　また、分離処理部１３２は、他の標本２０の画像情報を用いてＳ／Ｎ値を算出する際に、自家蛍光スペクトルを除去した後のバックグラウンドを用いることでＳ／Ｎ値を改善することができる。
（画像生成部１３３）
　画像生成部１３３は、分離処理部１３２による連結蛍光スペクトルの分離結果に基づいて画像情報を生成する構成である。例えば、画像生成部１３３は、１つ又は複数の蛍光分子に対応する蛍光スペクトルを用いて画像情報を生成したり、１つ又は複数の自家蛍光分子に対応する自家蛍光スペクトルを用いて画像情報を生成したりすることができる。なお、画像生成部１３３が画像情報の生成に用いる蛍光分子又は自家蛍光分子の数や組合せは特に限定されない。また、分離後の蛍光スペクトル又は自家蛍光スペクトルを用いた各種処理（例えば、セグメンテーション、またはＳ／Ｎ値の算出等）が行われた場合、画像生成部１３３は、それらの処理の結果を示す画像情報を生成してもよい。
（解析部１３４）
　解析部１３４は、画像生成部１３３で生成された画像情報に対して本開示の各実施形態に係る解析処理を施す。例えば、解析部１３４は、画像情報に対して、核検出および細胞膜検出を行い、細胞セグメンテーションを実施する。このとき、解析部１３４は、蛍光染色標本３０と、蛍光試料による染色を行わない非染色標本とに対して、それぞれ同一の解析処理を実行する。なお、非染色標本は、ＤＡＰＩ以外による染色を行わないものとしてよい。解析部１３４は、非染色標本に対する解析結果と、染色標本に対する解析結果とに基づき、陽性判定を行うための指標を算出する。解析部１２４は、算出した指標に基づき、染色標本に対する陽性判定を行う。
　ここで解析部１３４が算出する指標は、数値などにより対象を定量的に評価可能な情報であって、対象に対する特定の観察者に依存しない客観的な評価値として用いることができる（客観指標と呼ぶ）。これに対して、観察者の特性に基づく指標（例えば観察者の経験に基づく当該観察者独自の指標）を主観指標と呼び、客観指標と区別する。
（表示部１４０）
　表示部１４０は、画像生成部１３３によって生成された画像情報をディスプレイに表示することで実施者へ提示する構成である。また、表示部１４０は、解析部１３４による解析および判定結果をディスプレイに提示してよい。
　なお、表示部１４０として用いられるディスプレイの種類は特に限定されない。また、本実施形態では詳細に説明しないが、画像生成部１３３によって生成された画像情報がプロジェクターによって投影されたり、プリンタによってプリントされたりすることで実施者へ提示されてもよい（換言すると、画像情報の出力方法は特に限定されない）。
（制御部１５０）
　制御部１５０は、情報処理装置１００が行う処理全般を統括的に制御する機能構成である。例えば、制御部１５０は、操作部１６０を介して行われる実施者による操作入力に基づいて、上記で説明したような各種処理（例えば、蛍光染色標本３０の載置位置の調整処理、蛍光染色標本３０に対する励起光の照射処理、スペクトルの取得処理、連結蛍光スペクトルの生成処理、蛍光分離処理、画像情報の生成処理、および画像情報の表示処理等）の開始や終了等を制御する。なお、制御部１５０の制御内容は特に限定されない。例えば、制御部１５０は、汎用コンピュータ、ＰＣ、タブレットＰＣ等において一般的に行われる処理（例えば、ＯＳ(Operating　System)に関する処理）を制御してもよい。
（操作部１６０）
　操作部１６０は、実施者からの操作入力を受ける構成である。より具体的には、操作部１６０は、キーボード、マウス、ボタン、タッチパネル、またはマイクロホン等の各種入力手段を備えており、実施者はこれらの入力手段を操作することで情報処理装置１００に対して様々な入力を行うことができる。操作部１６０を介して行われた操作入力に関する情報は制御部１５０へ提供される。
（データベース２００）
　データベース２００は、試薬情報および標本情報等を管理する装置である。より具体的に説明すると、データベース２００は、試薬識別情報１１と試薬情報、標本識別情報２１と標本情報をそれぞれ紐づけて管理する。これによって、情報取得部１１１は、蛍光試薬１０の試薬識別情報１１に基づいて試薬情報を、標本２０の標本識別情報２１に基づいて標本情報をデータベース２００から取得することができる。
　データベース２００が管理する試薬情報は、蛍光試薬１０が有する蛍光物質固有の計測チャネルおよび連結蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、蛍光試薬１０に含まれる蛍光物質を示す概念であり、図９の例では、ＣＫ、ＥＲ、ＰｇＲ、およびＤＡＰＩを指す概念である。蛍光物質の数は蛍光試薬１０によって様々であるため、計測チャネルは、試薬情報として各蛍光試薬１０に紐づけられて管理されている。また、試薬情報に含まれる連結蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる蛍光物質それぞれについて、蛍光スペクトルが波長方向に連結されたものである。
　また、データベース２００が管理する標本情報は、標本２０が有する自家蛍光物質固有の計測チャネルおよび連結自家蛍光参照スペクトルを含む情報であることを想定している（必ずしもこれらに限定されない）。「計測チャネル」とは、標本２０に含まれる自家蛍光物質を示す概念であり、図８の例では、Ｈｅｍｏｇｌｏｂｉｎ、ＡｒｃｈｉｄｏｎｉｃＡｃｉｄ、Ｃａｔａｌａｓｅ、Ｃｏｌｌａｇｅｎ、ＦＡＤ、ＮＡＤＰＨ、およびＰｒｏＬｏｎｇＤｉａｍｏｎｄを指す概念である。
　自家蛍光物質の数は標本２０によって様々であるため、計測チャネルは、標本情報として各標本２０に紐づけられて管理されている。また、標本情報に含まれる連結自家蛍光参照スペクトルとは、上記のとおり、計測チャネルに含まれる自家蛍光物質それぞれについて、自家蛍光スペクトルが波長方向に連結されたものである。なお、データベース２００で管理される情報は必ずしも上記に限定されない。
　以上、本開示の各実施形態に適用可能な情報処理システムの構成例について説明した。なお、図１を参照して説明した上記の構成はあくまで一例であり、本実施形態に係る情報処理システムの構成は係る例に限定されない。例えば、情報処理装置１００は、図１に示す構成の全てを必ずしも備えなくてもよいし、図１に示されていない構成を備えてもよい。
　ここで、本開示の各実施形態に適用可能な情報処理システムは、蛍光スペクトルを取得する撮像装置（例えば、スキャナ等を含む）と、蛍光スペクトルを用いて処理を行う情報処理装置と、を備えていてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は情報処理装置によって実現され得る。
　また、本開示の各実施形態に適用可能な情報処理システムは、蛍光スペクトルを取得する撮像装置と、蛍光スペクトルを用いる処理に使われるソフトウェアと、を備えていてもよい。換言すると、当該ソフトウェアを記憶したり実行したりする物理構成（例えば、メモリやプロセッサ等）が情報処理システムに備えられていなくてもよい。この場合、図１に示した蛍光信号取得部１１２は撮像装置によって実現され得、その他の構成は当該ソフトウェアが実行される情報処理装置によって実現され得る。
　そして、ソフトウェアは、ネットワークを介して（例えば、ウェブサイトやクラウドサーバ等から）情報処理装置に提供されたり、任意の記憶媒体（例えば、ディスク等）を介して情報処理装置に提供されたりする。
　また、当該ソフトウェアが実行される情報処理装置は、各種サーバ（例えば、クラウドサーバ等）、汎用コンピュータ、ＰＣ、またはタブレットＰＣ等であり得る。なお、ソフトウェアが情報処理装置に提供される方法、および情報処理装置の種類は上記に限定されない。また、本実施形態に係る情報処理システムの構成は必ずしも上記に限定されず、使用時の技術水準に基づいて、いわゆる当業者が想到可能な構成が適用され得る点に留意されたい。
　上記で説明してきた情報処理システムは、例えば顕微鏡システムとして実現されてもよい。そこで、続いて図１０を参照して、各実施形態に適用可能な情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明する。
　図１０に示すように、各実施形態に適用可能な顕微鏡システムは、顕微鏡１０１と、データ処理部１０７と、を備える。
　顕微鏡１０１は、ステージ１０２と、光学系１０３と、光源１０４と、ステージ駆動部１０５と、光源駆動部１０６と、蛍光信号取得部１１２と、を備える。
　ステージ１０２は、蛍光染色標本３０を載置可能な載置面を有し、ステージ駆動部１０５の駆動により当該載置面に対して平行方向（ｘ－ｙ平面方向）及び垂直方向（ｚ軸方向）へ移動可能とされている。蛍光染色標本３０は、Ｚ方向に例えば数μｍから数十μｍの厚さを有し、スライドガラスＳＧ及びカバーガラス（図示無し）に挟まれて所定の固定手法により固定されている。
　ステージ１０２の上方には光学系１０３が配置される。光学系１０３は、対物レンズ１０３Ａと、結像レンズ１０３Ｂと、ダイクロイックミラー１０３Ｃと、エミッションフィルタ１０３Ｄと、励起フィルタ１０３Ｅと、を備える。光源１０４は、例えば水銀ランプ等の電球やＬＥＤ（Ｌｉｇｈｔ　Ｅｍｉｔｔｉｎｇ　Ｄｉｏｄｅ）等であり、光源駆動部１０６の駆動により蛍光染色標本３０に付された蛍光標識に対する励起光を照射するものである。
　励起フィルタ１０３Ｅは、蛍光染色標本３０の蛍光像を得る場合に、光源１０４から出射された光のうち蛍光色素を励起する励起波長の光のみを透過させることで励起光を生成する。ダイクロイックミラー１０３Ｃは、当該励起フィルタで透過されて入射する励起光を反射させて対物レンズ１０３Ａへ導く。対物レンズ１０３Ａは、当該励起光を蛍光染色標本３０へ集光する。そして対物レンズ１０３Ａ及び結像レンズ１０３Ｂは、蛍光染色標本３０の像を所定の倍率に拡大し、当該拡大像を蛍光信号取得部１１２の撮像面に結像させる。
　蛍光染色標本３０に励起光が照射されると、蛍光染色標本３０の各組織に結合している染色剤が蛍光を発する。この蛍光は、対物レンズ１０３Ａを介してダイクロイックミラー１０３Ｃを透過し、エミッションフィルタ１０３Ｄを介して結像レンズ１０３Ｂへ到達する。エミッションフィルタ１０３Ｄは、上記対物レンズ１０３Ａによって拡大された、励起フィルタ１０３Ｅを透過した光を吸収し発色光の一部のみを透過する。当該外光が喪失された発色光の像は、上述のとおり、結像レンズ１０３Ｂにより拡大され、蛍光信号取得部１１２上に結像される。
　データ処理部１０７は、光源１０４を駆動させ、蛍光信号取得部１１２を用いて蛍光染色標本３０の蛍光像を取得し、これを用いて各種処理を行う構成である。より具体的には、データ処理部１０７は、図１を参照して説明した、情報処理装置１００の情報取得部１１１、保存部１２０、処理部１３０、表示部１４０、制御部１５０、操作部１６０、又はデータベース２００の一部又は全部の構成として機能し得る。例えば、データ処理部１０７は、情報処理装置１００の制御部１５０として機能することで、ステージ駆動部１０５及び光源駆動部１０６の駆動を制御したり、蛍光信号取得部１１２によるスペクトルの取得を制御したりする。また、データ処理部１０７は、情報処理装置１００の処理部１３０として機能することで、連結蛍光スペクトルを生成したり、連結蛍光スペクトルを分子毎に分離したり、分離結果に基づいて画像情報を生成したりする。
　以上、本開示の各実施形態に適用可能な情報処理システムが顕微鏡システムとして実現される場合における顕微鏡システムの構成例について説明した。なお、図１０を参照して説明した上記の構成はあくまで一例であり、本開示の各実施形態に適用可能な顕微鏡システムの構成は係る例に限定されない。例えば、顕微鏡システムは、図１０に示す構成の全てを必ずしも備えなくてもよいし、図１０に示されていない構成を備えてもよい。
（処理フロー例）
　上記では、本開示の各実施形態に適用可能な情報処理システムの構成例について説明した。続いて、図１１を参照して、情報処理装置１００による蛍光分離に伴う一連の処理フロー例について説明する。図１１は、情報処理装置１００による蛍光分離に伴う一連の処理フロー例を示す一例のフローチャートである。
　ステップＳ１０００では、情報処理装置１００の蛍光信号取得部１１２が蛍光スペクトルを取得する。より具体的には、蛍光染色標本３０に対して互いに異なる励起波長の複数の励起光が照射され、蛍光信号取得部１１２は、各励起光に対応する複数の蛍光スペクトルを取得する。そして、蛍光信号取得部１１２は、取得した蛍光スペクトルを蛍光信号保存部１２２に保存する。
　ステップＳ１００４では、連結部１３１が蛍光信号保存部１２２に保存されている複数の蛍光スペクトルの少なくとも一部を波長方向に連結することで連結蛍光スペクトルを生成する。より具体的には、連結部１３１が、複数の蛍光スペクトルそれぞれにおける蛍光強度の最大値を含むように、各蛍光スペクトルにおける所定幅のデータを抽出し、当該データを波長方向に互いに連結することで一つの連結蛍光スペクトルを生成する。
　ステップＳ１００８では、分離処理部１３２が、連結蛍光スペクトルを分子毎に分離する（蛍光分離を行う）。より具体的には、分離処理部１３２が、図７を用いて説明した処理を実行することで、連結蛍光スペクトルを分子毎に分離する。
　その後の処理では、例えば画像生成部１３３が、分離後の、１つ又は複数の蛍光分子に対応する蛍光スペクトル（又は自家蛍光分子に対応する自家蛍光スペクトル）を用いて画像情報を生成し、表示部１４０が当該画像情報をディスプレイに表示することで実施者へ提示したりする。また、解析部１３４が、画像生成部１３３により生成された画像情報に対して細胞セグメンテーションを含む解析処理を行ってよい。また、解析部１３４は、この解析処理の結果に基づき細胞の陽性判定を行ってよい。
（ハードウェア構成）
　図１２は、各実施形態に適用可能な情報処理装置１００の一例のハードウェア構成を示すブロック図である。
　図１２において、情報処理装置１００は、ＣＰＵ１０００と、ＲＯＭ(Read　Only　Memory)１００１と、ＲＡＭ(Random　Access　Memory)１００２と、表示制御部１００３と、ストレージ装置１００４と、データＩ／Ｆ１００５と、通信Ｉ／Ｆ１００６と、を含み、これら各部がバス１０１０により互いに通信可能に接続されて構成される。
　ストレージ装置１００４は、ハードディスクドライブやフラッシュメモリといった、不揮発性の記憶媒体である。ＣＰＵ１０００は、ＲＯＭ１００１およびストレージ装置１００４に記憶されるプログラムに従い、ＲＡＭ１００２をワークメモリとして用いて動作し、この情報処理装置１００の動作を制御する。
　表示制御部１００３は、ＣＰＵ１０００によりプログラムに従い生成された表示制御情報に基づき、表示装置１０２０が対応可能な表示信号を生成する。表示制御部１００３は、生成した表示信号を表示装置１０２０に出力する。表示装置１０２０は、例えばＬＣＤ(Liquid　Crystal　Display)や有機ＥＬ(Electro-Luminescence)ディスプレイなどの表示デバイスと、当該表示デバイスと駆動する駆動回路とを含む。表示装置１０２０は、表示制御部１００３から供給された表示信号に従い表示デバイスに画面を表示する。表示制御部１００３および表示装置１０２０は、上述した表示部１４０に対応させてよい。
　データＩ／Ｆ１００５は、外部機器との間でデータの送受信を行うためのインタフェースである。データＩ／Ｆ１００５として適用可能なインタフェースは、特に限定されないが、ＵＳＢ(Universal　Serial　Bus)などによる有線通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）といった無線通信によるインタフェースを適用してよい。また、図１２の例では、データＩ／Ｆ１００５に対して、キーボードやタッチパネルといった、ユーザが入力操作を行うための入力デバイス１０３０が接続されている。入力デバイス１０３０は、上述した操作部１６０に対応させてよい。
　通信Ｉ／Ｆ１００６は、インターネットやＬＡＮ(Local　Area　Network)といった通信ネットワークとの通信を行うためのインタフェースである。
　情報処理装置１００において、ＣＰＵ１０００は、各実施形態に係る情報処理プログラムが実行されることで、上述した取得部１１０、保存部１２０、処理部１３０および制御部１５０を、ＲＡＭ２００２における主記憶領域に、例えばモジュールとして構成する。
　当該情報処理プログラムは、例えば通信Ｉ／Ｆ１００６を介した通信により、図示されない通信ネットワークを介して外部から取得し、当該情報処理装置１００上にインストールすることが可能とされている。これに限らず、当該プログラムは、ＣＤ(Compact　Disk)やＤＶＤ(Digital　Versatile　Disk)、ＵＳＢ(Universal　Serial　Bus)メモリといった着脱可能な記憶媒体に記憶されて提供されてもよい。
（３．第１の実施形態）
　次に、本開示の第１の実施形態について説明する。
　本開示の第１の実施形態では、非染色画像としてＤＡＰＩのみ染色したスライドを撮影した画像、対象となる組織を多重染色した画像の２つをセットとして、両者を同様に扱い、色分離、自家蛍光差分のマスク処理、核検出、膜検出、輝度（抗体値）算出までを行う。
（３－１．第１の実施形態に係る処理）
　図１３は、第１の実施形態に係る陽性判定方法を示す一例のフローチャートである。第１の実施形態では、上述したように、非染色標本を撮影した非染色画像と、蛍光染色標本を撮影した染色画像とに、同一の処理を施す。
　まず、非染色画像に対する処理について説明する。図１３において、非染色画像は、対象細胞を含み、核検出ためのＤＡＰＩによる染色のみを施した標本を撮影して得る。例えば図１の構成において、ステップＳ１０で、処理部１３０は、分離処理部１３２により、非染色画像に対して色分離処理を施し、非染色画像に含まれる自家蛍光成分を除去する。次のステップＳ１１で、処理部１３０は、例えば画像生成部１３３により、ステップＳ１０の色分離結果に基づき、非染色画像に対して自家蛍光差分のマスク処理を行う。
　次のステップＳ１２で、処理部１３０は、解析部１３４により細胞セグメンテーションを実施し、非染色画像におけるＤＡＰＩによる染色部分に基づき核検出を行う。解析部１３４は、例えば、機械学習により生成した学習モデルを用いたＡＩ(Artificial　Intelligence)処理により核検出を行ってよい（ＡＩ核検出）。
　次のステップＳ１３で、解析部１３４は、非染色画像に対して膜検出を行う。解析部１３４は、非染色画像に対して、例えば膨張法により膜検出を行う（ステップＳ１３ａ）。このとき、解析部１３４は、膨張法においてマーカごとに固定膨張値を用いて膜検出を行ってよい。
　次のステップＳ１４ａで、解析部１３４は、ステップＳ１２で検出された細胞核の情報と、ステップＳ１３ａで検出された細胞膜の情報とに基づき、細胞ごとの抗体値を算出する。抗体値は、例えば輝度情報として算出される。
　次に、染色画像に対する処理について説明する。本開示によれば、染色画像についても、上述した非染色画像に対する処理と同様の処理が施される。
　図１３において、染色画像は、対象細胞を含む標本であって、例えば複数の蛍光試薬を用いて染色した標本を撮影して得る。例えば図１の構成において、ステップＳ１０で、分離処理部１３２は、染色画像に対して色分離処理を施し、染色画像に含まれる自家蛍光成分を除去する。次のステップＳ１１で、例えば画像生成部１３３は、ステップＳ１０の色分離結果に基づき、染色画像に対して自家蛍光差分のマスク処理を行う。
　なお、上述した非染色標本は、当該対象細胞を含み、当該標本と同一および／または類似の標本であってよい。
　次のステップＳ１２で、解析部１３４は、細胞セグメンテーションを実施して染色画像に対して核検出を行う。なお、細胞セグメンテーションとは、生物学的サンプル中の細胞や細胞内構造を個々に識別し、区分するプロセスのことを指す。このプロセスは、顕微鏡画像や生体計測データ等のデータソースから細胞を検出・抽出し、形状や大きさ、輝度、テクスチャ等の特徴に基づいて、他の細胞や背景と分離することを目的としている。細胞セグメンテーション技術は、従来の閾値処理やエッジ検出、形態学的操作、ｗａｔｅｒｓｈｅｄ法などの画像処理手法から、近年では深層学習や機械学習を活用した手法まで、多岐にわたる。
　次のステップＳ１３で、解析部１３４は、染色画像に対して膜検出を行う。解析部１３４は、染色画像に対して、例えば膨張法により膜検出を行う（ステップＳ１３ｂ）。これに限らず、解析部１３４は、ｗａｔｅｒｓｈｅｄ法や、機械学習により生成された学習モデルを用いたＡＩ処理により膜検出を行ってもよい。
　なお、膨張法とは、形態学的画像処理の一種であり、二値画像上の物体の境界を拡大する操作を指す。膨張法は、細胞セグメンテーションにおいては、細胞の境界を明確にすることを目的に利用される。膨張法では、画像上の物体領域に所定の構造要素（カーネル）を適用し、構造要素内に物体領域が存在する場合、その画素を物体領域に属するものとして処理する。この操作により、物体領域が拡大され、隣接する細胞の境界が明確化される。
　また、ｗａｔｅｒｓｈｅｄ法とは、グレースケール画像の局所的な最小値（ｗａｔｅｒｓｈｅｄ）を基準に、物体領域を分割する画像処理手法である。この方法では、画像の最小値を谷と見立て、水位を上げるイメージで物体領域を分割する。細胞セグメンテーションにおいては、細胞の境界線を見つけるためにｗａｔｅｒｓｈｅｄ法が適用され得る。具体的には、細胞の明瞭な部分を水源とし、水が周囲に広がるような形で領域を拡大し、隣接する細胞領域の境界線を検出する。
　次のステップＳ１４ｂで、解析部１３４は、ステップＳ１２で検出された細胞核の情報と、ステップＳ１３ｂで検出された細胞膜の情報とに基づき、細胞ごとの抗体値を算出する。抗体値は、例えば輝度情報として算出される。
　次のステップＳ１５で、処理部１３０は、解析部１３４により、ステップＳ１４ａで非染色画像から算出された抗体値と、ステップＳ１４ｂで染色画像から算出された抗体値と、に基づき、蛍光染色標本に対する陽性判定を行う。解析部１３４は、例えば、非染色画像から算出された抗体値と、染色画像から算出された抗体値との差分を求め、この差分に基づき、染色画像に対する陽性判定のための閾値を決定してよい。
（３－２．非染色画像を用いた主観のみに頼らない閾値設定について）
　第１の実施形態では、上述したように、非染色画像と染色画像とに対して同条件で解析を行うことで、非染色画像と染色画像とを比較することが可能となる。そのため、非染色画像をコントロールとして閾値を決定することで、染色画像だけでは目視に頼らざるを得なかった染色画像の染色性（陽性／陰性）の判定を、客観指標に基づいて実施することができる。
　ここで、ステップＳ１０の色分離処理は、図７を用いて説明したように、最小二乗法（ＬＳＭ）や重み付き最小二乗法（ＷＬＳＭ）を用いて行われる。色分離処理としては、これに限らず、バーチャルフィルタを用いた手法も知られている。
　図１４は、第１の実施形態に適用される色分離処理と、バーチャルフィルタを用いた色分離処理とを説明するための模式図である。分離処理部１３２に入力される参照スペクトルは、図１４のセクション（ａ）に示されるように、ｘ－ｙ座標で示される位置情報と、ｘｙ平面に垂直の方向の波長情報とにより表される、スペクトルキューブ４０と呼ばれる構造を有している。
　バーチャルフィルタは、図１４のセクション（ｂ）に抽出波長域として示されるように、スペクトルキューブ４０の特定波長領域の情報を抽出し、抽出した情報を波長方向に積算することで、バーチャルフィルタ画像を得る。一方、第１の実施形態に適用される色分離処理は、特開２０２０－１４４１０９号公報に記載されるように、最小二乗法を用いて行列分解して波長方向の強度分布を求め（図１４のセクション（ｃ）参照）、係数を乗じることにより、色分離画像を得る。
　図１５は、色分離をバーチャルフィルタを用いて行った結果と、第１の実施形態に適用される色分離用いて行った結果とを比較して示す模式図である。図１５において、左側がバーチャルフィルタを用いた場合の例（画像５０ａ、５１ａ）を示し、右側が第１の実施形態に適用される色分離を行った場合の例（画像５０ｂ、５１ｂ）を示している。また、図１５において、上段は、色分離を行った処理画像の例を示し、下段は、染色画像と非染色画像とを比較した結果に基づき陽性判定まで行った場合の結果の例を示している。なお、下段では、比較のため同等の陽性細胞数となるよう陽性判定の閾値を設定している。
　図１５の上段では、左側に画像５０ａとして示す、バーチャルフィルタで色分離を行った場合には、自家蛍光が除去しきれていないために、右側に画像５０ｂとして示す、第１の実施形態に適用される色分離を行った場合と比較してバックグラウンドが高く出ていることが確認できる。
　また下段の例によれば、左側に画像５１ａとして示すバーチャルフィルタで色分離を行った場合には、自家蛍光の影響で、右側に画像５１ｂとして示す、第１の実施形態に適用される色分離を行った場合と比較して、擬陽性が増える傾向にあることが分かる。一例として、図中に矢印で示している部分を参照すると、左側のバーチャルフィルタを用いた場合では陽性と判定されているが、右側の第１の実施形態に適用される色分離を行った場合では陰性と判定されている。
　自家蛍光の発生は部位ごとに異なるため、最適な閾値設定は、これに影響を受けて変化してしまう。第１の実施形態に適用される色分離は、自家蛍光除去を同時に実施できるため、このぶれを軽減できると考えられる。
（３－３．細胞の空間的漏れ込みを抑制可能な陽性判定手法について）
　組織の画像解析においては、セルソーターを用いたシングルセル解析などとは異なり、図１６に例示されるように、本来ＣＤ４陽性であるはずの細胞が、細胞が密になる状況で周囲にＣＤ８陽性細胞が隣接するために、空間的漏れ込みによりＣＤ８陽性と誤判定されることがある。
　図１６は、空間的漏れ込みによる誤判定を説明するための模式図である。図１６において、セクション（ａ）は、ＤＡＰＩ染色により検出された核を示している。セクション（ｂ）および（ｃ）は、それぞれ膜検出により検出された細胞膜を示し、セクション（ｂ）はＣＤ４陽性と判定された箇所を示し、セクション（ｃ）はＣＤ８陽性と判定された箇所を示している。
　図において、枠内の細胞は、ＣＤ４は陽性、ＣＤ８は陰性と考えられる。しかしながら、セクション（ｃ）に示されるＣＤ８の判定においては、対象の細胞の周囲の細胞が染まっているため、枠内の輝度値の平均を算出すると、閾値の設定によっては、枠内の細胞が陽性であると判定されてしまう。すなわち、セクション（ｃ）の例では、対象の細胞が、当該対象の細胞に対して隣接する細胞の染色結果の空間的漏れ込みにより、誤判定されてしまっている。
　第１の実施形態では、解析部１３４は、陽性判定を次の４つの方法のうち何れかを用いて行う。
（ａ）平均輝度法
（ｂ）陽性ピクセル法
（ｃ）平均輝度法と陽性ピクセル法との組み合わせ
（ｄ）膜上輝度連続性計算法
（ａ）平均輝度法
　既存技術において陽性細胞の判定方法として一般的に用いられる方法である。図１７は、既存技術に係る平均輝度法を説明するための模式図である。図１７において、例えばＤＡＰＩ染色に基づきＡＩ核検出により核輪郭６１が検出され（図１３のステップＳ１２）、核輪郭６１から例えば膨張法により膜輪郭６３が算出される（図１３のステップＳ１３）。核輪郭６１の内側は、細胞核６０である。解析部１３４は、核輪郭６１と膜輪郭６３との間の領域６２を抽出し、当該領域６２の輝度を平均した平均輝度に対して閾値を用いて陽性判定を行う。
（ｂ）陽性ピクセル法
　陽性ピクセル法は、第１の実施形態において陽性細胞の判定方法として新たに提案する方法である。図１８は、第１の実施形態に係る陽性ピクセル法を説明するための模式図である。
　陽性ピクセル法では、解析部１３４は、先ず、例えば非染色画像を用いたネガティブコントロールなどから決定した閾値を用いて、染色画像である元画像６５ａに対してピクセル単位で陽性ピクセルを判定する。次に、解析部１３４は、核検出および膜検出により、画像６５ｂに示すように、核輪郭６１と膜輪郭６３との間の領域６２のピクセル数ｎを求める。さらに、解析部１３４は、画像６５ｃに示すように、領域６２における陽性ピクセルの領域６４に含まれる陽性ピクセル数ｍを求める。解析部１３４は、領域６２において陽性ピクセルの領域６４が占める割合（ｍ／ｎ）を算出し、算出された割合（ｍ／ｎ）が閾値以上の場合に、当該陽性ピクセルの領域６４に含まれる細胞を、陽性細胞と判定する。すなわち、陽性ピクセル法では、割合（ｍ／ｎ）が陽性判定に対する客観指標であってよい。
（ｃ）平均輝度法と陽性ピクセル法との組み合わせ
　上述した（ａ）平均輝度法と（ｂ）陽性ピクセル法とを組み合わせた方法であり、解析部１３４は、（ａ）平均輝度法により求めた平均輝度が閾値以上であり、且つ、（ｂ）陽性ピクセル法により求めた割合（ｍ／ｎ）が閾値以上である細胞を陽性細胞と判定する。
（ｄ）膜上輝度連続性計算法
　膜上輝度連続性計算法は、第１の実施形態において陽性細胞の判定方法として新たに提案する方法である。図１９は、第１の実施形態に係る膜上輝度連続性計算法を説明するための模式図である。
　膜上輝度連続性計算法では、解析部１３４は、図１９のセクション（ａ）に示すように、膜輪郭６３上のピクセルに対応する膜輪郭点６８の輝度を求める。このとき、図１９のセクション（ｂ）に示すように、膜輪郭点６８のピクセルと、当該膜輪郭点６８の周囲の例えば９ピクセルとを含めたピクセルの輝度の平均を算出し、算出した平均輝度値を、当該膜輪郭点６８のピクセルの輝度値とする。
　解析部１３４は、膜輪郭６３の全周にわたり各膜輪郭点６８の輝度値を算出する。解析部１３４は、膜輪郭６３上を連続的に見た場合に、輝度値が閾値を一定以上連続して下回ることが無い場合に、当該膜輪郭６３に係る細胞が陽性細胞であると判定する。すなわち、解析部１３４は、輝度値が閾値以下となる膜輪郭点６８が一定数以上連続しない場合に、当該膜輪郭６３に係る細胞が陽性細胞であると判定する。これは、換言すれば、輝度値が閾値以下となる膜輪郭点６８が一定数を超えた場合には、当該膜輪郭６３に係る細胞が陽性細胞ではない、と判定できるといえる。
　図２０は、第１の実施形態に係る膜上輝度連続性計算法をより具体的に説明するための模式図である。図２０において、領域６６は、陽性と判定された陽性判定細胞における核輪郭と膜輪郭との間の領域であり、染色により蛍光発色している。細胞核６０において、当該細胞核６０に係る領域６２のうち領域６６と隣接する部分は、領域６６からの蛍光の漏れ込みにより陽性と判定される可能性が高い。
　一方、細胞核６０において、範囲７０は、領域６６に隣接しておらず、蛍光の漏れ込みが発生しないか、あるいは漏れ込みの影響が極めて小さく、蛍光に関する輝度値が低い。膜上輝度連続性計算法では、この範囲７０の、細胞核６０の輪郭の全周に占める割合が所定以下の場合に、当該細胞核６０に係る細胞が陽性細胞であると判定する。
　図２１は、第１の実施形態に係る膜上輝度連続性計算法による処理を示す一例のフローチャートである。図２１のフローチャートによる処理は、図１３のフローチャートにおけるステップＳ１５の処理に相当する。
　ステップＳ１５０で、解析部１３４は、細胞膜の輪郭点の算出を行う。解析部１３４は、例えば、図１３のステップＳ１３での膜検出により検出された細胞膜における輪郭点の位置を算出する。次のステップＳ１５１で、解析部１３４は、各輪郭点ｐにおける画素の輝度値ｌ(ｐ)を算出する。このとき、解析部１３４は、図１９を用いて説明したように、注目画素の輝度値と、注目画素の近傍の複数の画素の輝度値との平均値を、注目画素の輝度値ｌ(ｐ)として算出する。
　次のステップＳ１５２で、解析部１３４は、輝度値ｌ(ｐ)を連結する。図２２は、輝度値の連結を説明するための模式図である。図２２において、横軸が膜輪郭の任意の輪郭点ｐ0を開始点とした場合の、輪郭方向の長さ（輪郭長Ｌ）を示し、縦軸が輝度値ｌ(ｐ)を示している。
　解析部１３４は、例えば、開始点である輪郭点ｐ0から、終了点である、開始点から膜輪郭を例えば１周した位置の輪郭点ｐ1まで、各輪郭点ｐの輝度値ｌ(ｐ)を算出する。この場合において、開始点および終了点を含む、１周分の輪郭での評価を行うために、開始点（輪郭点ｐ0）の輝度値ｌ(ｐ0)と、終了点（輪郭点ｐ1）の輝度値ｌ(ｐ0)とを連結する。図２２の例では、輪郭点ｐ0からｐ1における輝度値ｌ(ｐ)を例えば複製し、点線で示すように、輝度値ｌ(ｐ)’として連結している。これにより、輪郭の１周分で連続した各輪郭点ｐの輝度値ｌ(ｐ)を得ることができる。
　次のステップＳ１５３で、解析部１３４は、ステップＳ１５２で算出した輪郭の１周分で連続した各輪郭点の輝度値ｌ(ｐ)に基づき、閾値ｌthを超える輝度値ｌ(ｐ)の輪郭点ｐが連続する長さである最大連続長Ｌconを求める。解析部１３４は、求めた最大連続長Ｌconと、当該膜輪郭の全周の輪郭長ＬALLとに基づき、次式（１０）により、最大連続欠損率Ｘを算出する。
Ｘ＝Ｌcon／ＬALL　　…（１０）
　解析部１３４は、次のステップＳ１５４で、ステップＳ１５３で算出した最大連続欠損率Ｘが閾値Ｘthを超えているか否か（Ｘ＞Ｘth？）を判定する。
　解析部１３４は、最大連続欠損率Ｘが閾値Ｘthを超えていると判定した場合（ステップＳ１４５、「Ｙｅｓ」）、処理をステップＳ１５５に移行させて、当該細胞が陰性であると判定する。一方、解析部１３４は、最大連続欠損率Ｘが閾値Ｘth以下であると判定した場合（ステップＳ１５４、「Ｎｏ」）、処理をステップＳ１５６に移行させて、当該細胞が陽性であると判定する。すなわち、膜上輝度連続性計算法においては、最大連続欠損率Ｘが陽性判定に対する客観指標であってよい。
（３－４．各陽性判定方法による判定結果の例）
　図２３および図２４を用いて、上述した各陽性判定方法による判定結果の例について説明する。
　図２３は、各陽性判定方法による判定結果の実データ例を示す模式図である。図２３では、（ａ）平均輝度法、（ｂ）陽性ピクセル法、（ｃ）平均輝度法と陽性ピクセル法との組み合わせ、（ｄ）膜上輝度連続性計算法、のそれぞれにおいて、ＣＤ４単一陽性、ＣＤ８単一陽性、ＣＤ４およびＣＤ８の両方が陽性、ＣＤ４およびＣＤ８の両方が陰性、が検出された検出数の例を示している。なお、図２３において、単位は個であり、Ｇｒｏｕｎｄ　Ｔｒｕｔｈは、真値を示している。
　図２３の例によれば、ＣＤ４およびＣＤ８の両方が陽性の検出結果は、（ｄ）膜上輝度連続性計算法の精度が他に比べて高くなっている。これにより、（ｄ）膜上輝度連続性計算法は、空間的な漏れ込みの影響を抑制する効果があると推測できる。
　図２４は、（ａ）平均輝度法、（ｂ）陽性ピクセル法、（ｃ）平均輝度法と陽性ピクセル法との組み合わせ、（ｄ）膜上輝度連続性計算法、のそれぞれにおける、ＴＰ(True　Positive)、ＦＰ(False　Positive)、ＦＮ(False　Negative)およびＴＮ(True　Positive)、ならびに、感度(Sensivility)、特異度(Specificity)および正確さ(Accuracy)の例を示す模式図である。
　図２４の例では、ＣＤ４の陽性判定に関しては（ｃ）平均輝度法と陽性ピクセル法との組み合わせが、感度、特異度および正確さの何れの値も高く、４種類の陽性判定方法の中で最も成績が良いことが分かる。一方、ＣＤ８の陽性判定に関しては、同様にして、（ｄ）膜上輝度連続性計算法が最も成績が良いことが分かる。
　図２４に示した各結果は、例えば図１３のフローチャートにおけるステップＳ１４ａおよびステップＳ１４ｂの結果に基づき、解析部１３４により任意の組み合わせで算出可能である。例えば、図２４の例では、ＣＤ４の陽性判定に関しては、４つの陽性判定方法のうち（ｃ）平均輝度法と陽性ピクセル法との組み合わせが最も成績が良いとされているが、解析部１３４は、（ａ）平均輝度法、（ｂ）陽性ピクセル法および（ｄ）膜上輝度連続性計算法のうち２以上を組み合わせて判定結果を算出してよい。
　また、第１の実施形態に係る情報処理装置１００は、解析部１３４による判定結果を、表示部１４０により表示装置１０２０に表示させることができる。また、情報処理装置１００は、ユーザに対して、表示装置１０２０に表示させた各陽性判定方法による判定結果に応じて陽性判定方法の組み合わせを指定させるＵＩ(User　Interface)を提示してもよい。解析部１３４は、例えば、ユーザにより当該ＵＩを用いて指定された陽性判定方法の組み合わせに応じて判定結果を算出し、表示部１４０によりユーザに提示してよい。
　上述したように、第１の実施形態によれば、非染色画像と染色画像に対して、色分離、解析処理を同条件で行うことにより、ネガティブコントロールとしての条件を一致させることができる。そのため、ネガティブコントロールでの算出結果を染色画像に対する陽性の判定閾値として設定することができる。ネガティブコントロールによる客観的な数値に基づいた閾値を採用できるため、第１の実施形態に係る画像処理システムを適用することで、主観で画像を見ながら閾値を決める必要がなくなり、医師（ユーザ）によらない再現性および医師が判定にかける時間の削減に寄与することができる。
　また、第１の実施形態によれば、隣接する細胞からの漏れ込みを考慮した細胞毎の計算を行うことにより、１つ１つの細胞の陽性をより正しく判断することができる。そのため、陽性判定の精度をより高めることが可能となる。第１の実施形態に係る画像処理システムを適用することで、細胞を１つずつソートすることなく組織のまま（組織撮影画像のまま）精度の高い陽性判定ができるため、空間的な細胞集団の位置関係など新たな指標を得ることに役立つ。
　これに対して、特許文献１、２および３は、コントロールを用いずに染色画像のみをノーマライズしたり、コントロールを用いたとしても条件を合わせるようにした技術が記載されている。例えば、特許文献１は、複数ＲＯＩ(Region　of　Interest)で発現量をノーマライズすることで、閾値を決定する方法が記載されているが、コントロールを用いる等の手法ではない。特許文献２は、発現量をノーマライズする必要があることが記載されているが、コントロールを用いる等の客観的な指標については記載が無い。また、特許文献３は、ネガティブコントロールから閾値を算出する手法が記載されているが、染色画像および非染色画像の両方に同様の解析をする形態ではない。
　また、特許文献１～３は、隣接細胞間の空間的な漏れ込みに関しては言及されていない。
　このように、特許文献１～３では、ネガティブコントロールの条件を染色画像とは一致させていないため、ある程度閾値を客観的に設定できるようにはなるものの、異なる組織間では同じ手法を適用することが困難と考えられる。本開示の第１の実施形態に係る陽性判定方法は、非染色画像と染色画像とに全く同じ色分離処理、解析処理を適用することで、コントロールとして機能させている。また、本開示の第１の実施形態に係る陽性判定方法では、特許文献１～３では考慮されていない、隣接細胞間の空間的な漏れ込みを考慮することで、既存技術による陽性判定方法に対して精度を向上させることが可能である。
（４．第２の実施形態）
　次に、本開示の第２の実施形態について説明する。
　精度の良い陽性判定の中にも、用途により、偽陽性を減らしたいのか、偽陰性を減らしたいのか等、適した手法が存在すると考えられる。本開示の第２の実施形態では、用途に応じた最適な手法を組み合わせて実際の陽性判定を行うことで、より目的に沿った効果を得られるようにしたものである。
　図２５は、第２の実施形態に係る陽性判定処理の流れの例を説明するための模式図である。図２５において、第２の実施形態に係る画像処理システムは、図１３のフローチャートのステップＳ１２の処理により核検出を行い、次に、細胞検出を行う（ステップＳ１３０）。ステップＳ１３の処理は、図１３のフローチャートのステップＳ１３の処理に対応するものあってよい。ステップＳ１３０の処理の後、画像処理システムは、図１３のフローチャートのステップＳ１４ａおよびステップＳ１４ｂに対応する、図示されない抗体値算出処理を行い、処理をステップＳ１５の陽性判定処理に移行させる。
　ステップＳ１５の陽性判定処理において、ステップＳ１５００で、画像処理システムは、例えば解析部により、核検出および細胞検出された染色画像および非染色画像に対して画像前処理を実行する。画像前処理は、例えば自家蛍光などの隣接細胞間での漏れ込みや、非特異吸着対応処理であってよい。
　画像処理システムにおいて解析部１３４は、ステップＳ１５００で前処理された画像を、細胞ごとの平均輝度算出処理（ステップＳ１５０１ａ）、細胞ごとの陽性ピクセル算出処理（ステップＳ１５０１ｂ）、細胞ごとの、空間的漏れ込みを考慮した指標算出処理（ステップＳ１５０１ｃ）、…などの各処理、および、機械学習ベースの判定処理（ステップＳ１５０３）の何れか、あるいは、２以上の処理に渡す。
　なお、ステップＳ１５０１ａの細胞ごとの平均輝度算出処理は、上述した（ａ）平均輝度法に対応する。ステップＳ１５０１ｂの細胞ごとの陽性ピクセル算出処理は、上述した（ｂ）陽性ピクセル法に対応する。また、ステップＳ１５０１ｃの細胞ごとの、空間的漏れ込みを考慮した指標算出処理は、上述した（ｃ）膜上輝度連続性計算法に対応する。
　解析部１３４は、ステップＳ１５０１ａ～１５０１ｃの処理結果に対してステップＳ１５０２により閾値処理し、陽性判定を行う。このとき、解析部１３４は、ステップＳ１５０１ａ～１５０１ｃの各陽性判定処理から、陽性判定の内容に応じた陽性判定処理を選択して、処理結果に対する閾値判定を行ってよい。このいとき、解析部１３４は、ステップＳ１５０１ａ～１５０１ｃの各陽性判定処理のうち複数の陽性判定処理の処理結果を組み合わせて閾値判定を行ってよい。解析部１３４は、閾値判定に用いる陽性判定処理を、ユーザの指示に応じて選択してもよいし、それぞれの処理結果に基づき選択して再処理してもよい。
　一方、ステップＳ１５０３の機械学習ベースの判定処理では、機械学習により生成した学習モデルを用いたＡＩ処理により、陽性判定を行う。
　解析部１３４は、ステップＳ１５０２の閾値処理による陽性判定結果、あるいは、ステップＳ１５０３の機械学習ベースの判定処理による陽性判定結果を、出力データ８０として出力する。出力データ８０は、例えば表示部１４０により表示装置１０２０に表示され、ユーザに提示される。
　なお、上述では、ステップＳ１５００の画像前処理がステップＳ１３０の細胞検出処理の後に行われるように説明したが、これはこの例に限定されない。例えば、ステップＳ１５００の画像前処理は、ステップＳ１２の処理の前、あるいは、ステップＳ１２の処理とステップＳ１３０の処理との間で行ってもよい。
　図２５の例では、ステップＳ１２で核検出を行った後に、ステップＳ１３０で細胞検出を行っているが、核検出を行わずに細胞検出（細胞セグメンテーション）を実施することも有り得る。図２６は、核検出を行わずに細胞検出を行った場合の検出結果の例を示す模式図であり、細胞境界の正解ラベルと、細胞核から細胞検出を行った結果と、ＡＩ（機械学習ベース判定）により細胞検出のみを行った結果とを対比させて示している。
　図２６の例では、ＡＩにより細胞検出のみを行った例が正解レベルに対する追従性が高くなっている。このように、正解ラベルに対する追従性が高い方法を用いる場合は、膜上輝度連続性計算法により算出された指標がより効果的であると考えられ、その場合、例えば図２５の構成においてステップＳ１５０１ｃの空間を考慮した指標算出を選択することが好ましい。これに限らず、膜検出自体のＡＩ検出信頼度を用いて陽性細胞判定を行うことも考えられる。
　このように、第２の実施形態では、複数の陽性判定方法から用途に応じた方法を選択可能としているので実際の陽性判定を、より高精度に実行可能である。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　プロセッサにより実行される、
　対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対して細胞検出を含む第１の解析処理を行う第１の解析ステップと、
　前記対象細胞を含み、前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対して前記第１の解析処理と同一の第２の解析処理を行う第２の解析ステップと、
を含み、
　前記第１の解析処理による解析結果と前記第２の解析処理による解析結果との差分から前記対象細胞が陽性細胞であるか否かの指標を出力する、
陽性判定方法。
（２）
　前記第１の解析処理および前記第２の解析処理の何れか一方は、細胞セグメンテーションおよび抗体値算出のうち少なくとも一方を含む、
前記（１）に記載の陽性判定方法。
（３）
　前記細胞検出により抽出された細胞ごとに、陰性部分に対する陽性部分の漏れ込みを考慮して前記指標を算出する、
前記（１）または（２）に記載の陽性判定方法。
（４）
　前記非染色画像に基づき決定した閾値に基づき前記染色画像に対して判定した陽性ピクセルによる領域の、前記細胞に基づく核輪郭と膜輪郭との間の領域に含まれる領域に対する割合を前記客観指標として用いる、
前記（３）に記載の陽性判定方法。
（５）
　前記割合と、前記染色画像に対して前記細胞に基づく核輪郭と膜輪郭との間の領域の平均輝度と、を前記指標として用いる、
前記（４）に記載の陽性判定方法。
（６）
　前記判定ステップは、
　前記細胞に基づく膜輪郭における所定以下の輝度値を持つ点が連続する長さに基づき前記客観指標を算出する、
前記（３）に記載の陽性判定方法。
（７）
　前記長さが閾値以下である場合に、前記膜輪郭に係る細胞が陽性細胞であると判定する、
前記（６）に記載の陽性判定方法。
（８）
　前記膜輪郭における前記輝度値の取得開始点と取得終了点とを連結して前記長さを求める、
前記（６）または（７）に記載の陽性判定方法。
（９）
　前記染色画像に対して前記細胞に基づく核輪郭と膜輪郭との間の領域の平均輝度を前記指標として用いる、
前記（３）に記載の陽性判定方法。
（１０）
　前記第１の解析ステップおよび前記第２の解析ステップは、それぞれ、
　前記染色画像および前記非染色画像に対して、それぞれ最小二乗法による行列分解を用いた色分離を行うことで、前記染色画像および前記非染色画像の自家蛍光成分を除去し、前記自家蛍光成分を除去した前記染色画像および前記非染色画像に対して前記第１の解析処理および第２の解析処理を行う、
前記（１）乃至（９）の何れかに記載の陽性判定方法。
（１１）
　複数種類の判定方法による前記陽性判定の各判定結果を一覧して提示する、
前記（１）乃至（１０）の何れかに記載の陽性判定方法。
（１２）
　前処理された前記第１の解析ステップおよび前記第２の解析ステップそれぞれの解析結果に基づき前記指標を算出し、
　前記第１の解析ステップおよび前記第２の解析ステップにおいて用いた前記細胞検出の手法に応じて前記指標を算出するための算出方法を選択する、
前記（１）乃至（１１）の何れかに記載の陽性判定方法。
（１３）
　前記第１の解析ステップおよび前記第２の解析ステップにおいて機械学習により生成された学習モデルを用いて前記細胞検出を行い、
　前記第１の解析ステップおよび前記第２の解析ステップの少なくとも一方における前記細胞検出の信頼度に基づき前記陽性判定を行う、
前記（１２）に記載の陽性判定方法。
（１４）
　前記指標に対してさらに閾値処理を行う、
前記（１２）に記載の陽性判定方法。
（１５）
　前記第１の解析ステップおよび前記第２の解析ステップは、
　核検出を行わずに前記細胞検出を実行する、
前記（１２）乃至（１４）の何れかに記載の陽性判定方法。
（１６）
　標本を撮影して画像を出力する撮影装置と、
　　前記画像に対して細胞検出を含む解析処理を行う解析部と、
　　前記解析処理の結果に基づき陽性判定を行う判定部と、
　を有する情報処理装置と、
　前記陽性判定の結果を提示する提示部と、
を備え、
　前記判定部は、
　対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対する前記解析処理を行った第１の解析結果と、前記対象細胞を含み前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対する前記解析処理と同一の解析処理を行った第２の解析結果と、の差分から前記対象細胞が陽性細胞であるか否かの指標を出力する、
画像解析システム。
（１７）
　標本を撮影した画像に対して細胞検出含む解析処理を行う解析部と、
　前記解析処理の結果に基づき陽性判定を行う判定部と、
を備え、
　前記判定部は、
　対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対する前記解析処理を行った第１の解析結果と、前記対象細胞を含み前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対する前記解析処理と同一の解析処理を行った第２の解析結果と、の差分から前記対象細胞が陽性細胞であるか否かの指標を出力する、
情報処理装置。
４０　スペクトルキューブ
５０ａ，５０ｂ，５１ａ，５１ｂ，６５ｂ，６５ｃ　画像
６０　細胞核
６１　核輪郭
６３　膜輪郭
６８　膜輪郭点
１００　情報処理装置
１３０　処理部
１３２　分離処理部
１３３　画像生成部
１３４　解析部
１４０　表示部

Claims (17)

  1. 　プロセッサにより実行される、
    　対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対して細胞検出を含む第１の解析処理を行う第１の解析ステップと、
    　前記対象細胞を含み、前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対して前記第１の解析処理と同一の第２の解析処理を行う第２の解析ステップと、
    を含み、
    　前記第１の解析処理による解析結果と前記第２の解析処理による解析結果との差分から前記対象細胞が陽性細胞であるか否かの指標を出力する、
    陽性判定方法。
  2. 　前記第１の解析処理および前記第２の解析処理の何れか一方は、細胞セグメンテーションおよび抗体値算出のうち少なくとも一方を含む、
    請求項１に記載の陽性判定方法。
  3. 　前記細胞検出により抽出された細胞ごとに、陰性部分に対する陽性部分の漏れ込みを考慮して前記指標を算出する、
    請求項１に記載の陽性判定方法。
  4. 　前記非染色画像に基づき決定した閾値に基づき前記染色画像に対して判定した陽性ピクセルによる領域の、前記細胞に基づく核輪郭と膜輪郭との間の領域に含まれる領域に対する割合を前記指標として用いる、
    請求項３に記載の陽性判定方法。
  5. 　前記割合と、前記染色画像に対して前記細胞に基づく核輪郭と膜輪郭との間の領域の平均輝度と、を前記指標として用いる、
    請求項４に記載の陽性判定方法。
  6. 　前記細胞に基づく膜輪郭における所定以下の輝度値を持つ点が連続する長さに基づき前記指標を算出する、
    請求項３に記載の陽性判定方法。
  7. 　前記長さが閾値以下である場合に、前記膜輪郭に係る細胞が陽性細胞であると判定する、
    請求項６に記載の陽性判定方法。
  8. 　前記膜輪郭における前記輝度値の取得開始点と取得終了点とを連結して前記長さを求める、
    請求項６に記載の陽性判定方法。
  9. 　前記染色画像に対して前記細胞に基づく核輪郭と膜輪郭との間の領域の平均輝度を前記指標として用いる、
    請求項３に記載の陽性判定方法。
  10. 　前記第１の解析ステップおよび前記第２の解析ステップは、それぞれ、
    　前記染色画像および前記非染色画像に対して、それぞれ最小二乗法による行列分解を用いた色分離を行うことで、前記染色画像および前記非染色画像の自家蛍光成分を除去し、前記自家蛍光成分を除去した前記染色画像および前記非染色画像に対して前記第１の解析処理および第２の解析処理を行う、
    請求項１に記載の陽性判定方法。
  11. 　複数種類の判定方法による陽性判定の各判定結果を一覧して提示する、
    請求項１に記載の陽性判定方法。
  12. 　前処理された前記第１の解析ステップおよび前記第２の解析ステップそれぞれの解析結果に基づき前記指標を算出し、
    　前記第１の解析ステップおよび前記第２の解析ステップにおいて用いた前記細胞検出の手法に応じて前記指標を算出するための算出方法を選択する、
    請求項１に記載の陽性判定方法。
  13. 　前記第１の解析ステップおよび前記第２の解析ステップにおいて機械学習により生成された学習モデルを用いて前記細胞検出を行い、
    　前記第１の解析ステップおよび前記第２の解析ステップの少なくとも一方における前記細胞検出の信頼度を前記指標として用いる、
    請求項１２に記載の陽性判定方法。
  14. 　前記指標に対してさらに閾値処理を行う、
    請求項１２に記載の陽性判定方法。
  15. 　前記第１の解析ステップおよび前記第２の解析ステップは、
    　核検出を行わずに前記細胞検出を実行する、
    請求項１２に記載の陽性判定方法。
  16. 　標本を撮影して画像を出力する撮影装置と、
    　　前記画像に対して細胞検出を含む解析処理を行う解析部と、
    　　前記解析処理の結果に基づき陽性判定を行う判定部と、
    　を有する情報処理装置と、
    を備え、
    　前記判定部は、
    　対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対する前記解析処理を行った第１の解析結果と、前記対象細胞を含み前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対する前記解析処理と同一の解析処理を行った第２の解析結果と、の差分から前記対象細胞が陽性細胞であるか否かの指標を出力する、
    画像解析システム。
  17. 　標本を撮影した画像に対して細胞検出を含む解析処理を行う解析部と、
    　前記解析処理の結果に基づき陽性判定を行う判定部と、
    を備え、
    　前記判定部は、
    　対象細胞を含む標本が蛍光試薬により染色されることで作成された染色標本を撮影した染色画像に対する前記解析処理を行った第１の解析結果と、前記対象細胞を含み前記標本と同一および／または類似の非染色標本を撮影した非染色画像に対する前記解析処理と同一の解析処理を行った第２の解析結果と、の差分から前記対象細胞が陽性細胞であるか否かの指標を出力する、
    情報処理装置。
PCT/JP2024/011309 2023-04-05 2024-03-22 陽性判定方法、画像解析システムおよび情報処理装置 Pending WO2024209965A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023-061391 2023-04-05
JP2023061391 2023-04-05

Publications (1)

Publication Number Publication Date
WO2024209965A1 true WO2024209965A1 (ja) 2024-10-10

Family

ID=92971674

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/011309 Pending WO2024209965A1 (ja) 2023-04-05 2024-03-22 陽性判定方法、画像解析システムおよび情報処理装置

Country Status (1)

Country Link
WO (1) WO2024209965A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
JP2019012084A (ja) * 2016-12-22 2019-01-24 国立大学法人 筑波大学 データ作成方法及びデータ使用方法
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
WO2022075040A1 (ja) * 2020-10-09 2022-04-14 ソニーグループ株式会社 画像生成システム、顕微鏡システム、および画像生成方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005091895A (ja) * 2003-09-18 2005-04-07 Institute Of Physical & Chemical Research 走査型共焦点顕微鏡装置
JP2019012084A (ja) * 2016-12-22 2019-01-24 国立大学法人 筑波大学 データ作成方法及びデータ使用方法
JP2020020791A (ja) * 2018-07-24 2020-02-06 ソニー株式会社 情報処理装置、情報処理方法、情報処理システム、およびプログラム
WO2022075040A1 (ja) * 2020-10-09 2022-04-14 ソニーグループ株式会社 画像生成システム、顕微鏡システム、および画像生成方法

Similar Documents

Publication Publication Date Title
US20230145084A1 (en) Artificial immunohistochemical image systems and methods
Campanella et al. Towards machine learned quality control: A benchmark for sharpness quantification in digital pathology
US8320655B2 (en) Process and system for analyzing the expression of biomarkers in cells
CA2966555C (en) Systems and methods for co-expression analysis in immunoscore computation
US10083340B2 (en) Automated cell segmentation quality control
CN112424588B (zh) 从样本的自体荧光分离出荧光试剂的荧光的信息处理装置及显微镜
JP2024150743A (ja) 情報処理システムおよび情報処理方法
JP7647751B2 (ja) 情報処理装置、情報処理方法、プログラム、顕微鏡システム及び解析システム
US20250046069A1 (en) Label-free virtual immunohistochemical staining of tissue using deep learning
JP7487418B2 (ja) 多重化免疫蛍光画像における自己蛍光アーチファクトの識別
WO2009006696A1 (en) Pathology method
JP6960935B2 (ja) コントロールスライドを使用する改善された画像解析アルゴリズム
CN101950076A (zh) 荧光图像获取装置、荧光图像获取方法和荧光图像获取程序
US20240361245A1 (en) Information processing apparatus, microscope system, and information processing method
JP2025137595A (ja) 情報処理装置及び情報処理システム
US20240393248A1 (en) Information processing device, biological sample observation system, and image generation method
US20240169534A1 (en) Medical image analysis device, medical image analysis method, and medical image analysis system
US20250140385A1 (en) Information processing device, biological sample analysis system, and biological sample analysis method
US20250139772A1 (en) Information processing apparatus, biological sample observation system, and image generation method
US11599738B2 (en) Method for examining distributed objects by segmenting an overview image
WO2024209965A1 (ja) 陽性判定方法、画像解析システムおよび情報処理装置
US20250198924A1 (en) Information processing device, biological sample analysis system, and biological sample analysis method
US20240371042A1 (en) Information processing device, biological sample observation system, and image generation method
WO2024262419A1 (ja) 情報処理装置、情報処理方法および情報処理システム
Ashitha et al. AI-based Smart Detection of Hormonal Changes in Women using Pixel Intensity Analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24784756

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025512493

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025512493

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE