JP7593112B2 - 情報提供方法、情報提供装置及びプログラム - Google Patents
情報提供方法、情報提供装置及びプログラム Download PDFInfo
- Publication number
- JP7593112B2 JP7593112B2 JP2020572199A JP2020572199A JP7593112B2 JP 7593112 B2 JP7593112 B2 JP 7593112B2 JP 2020572199 A JP2020572199 A JP 2020572199A JP 2020572199 A JP2020572199 A JP 2020572199A JP 7593112 B2 JP7593112 B2 JP 7593112B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- score
- fluorescent
- image
- tissue section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0071—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/483—Physical analysis of biological material
- G01N33/4833—Physical analysis of biological material of solid biological material, e.g. tissue samples, cell cultures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/536—Immunoassay; Biospecific binding assay; Materials therefor with immune complex formed in liquid phase
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
- G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
- G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
- G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
- G01N33/574—Immunoassay; Biospecific binding assay; Materials therefor for cancer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Immunology (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Molecular Biology (AREA)
- Pathology (AREA)
- Analytical Chemistry (AREA)
- Hematology (AREA)
- Urology & Nephrology (AREA)
- Biochemistry (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Food Science & Technology (AREA)
- Medicinal Chemistry (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Public Health (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Microbiology (AREA)
- Cell Biology (AREA)
- Biotechnology (AREA)
- Optics & Photonics (AREA)
- Biophysics (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Oncology (AREA)
- Hospice & Palliative Care (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Geometry (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
Description
組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供方法であって、
明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得工程と、
前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成工程と、
前記解析スコアを、前記支援情報として提示する情報提示工程と、を備え、
前記スコア作成工程においては、前記組織切片に存在する種々の領域の面積の割合又は比に基づくスコア、種々の構造の有無、種々の構造の密度又は種々の構造の出現数に基づくスコア、各細胞種の数、各細胞種の密度、異なる細胞種の距離又は特定の細胞種と特定の構造の距離に基づくスコアの順に算出し、算出した当該スコアに基づいて前記解析スコアを作成する。
前記画像取得工程において、前記組織切片の全体を撮像可能なバーチャル顕微鏡スライド作成装置で撮像することによって得られた、前記組織切片の全体の明視野画像を取得する。
前記スコア作成工程において、前記組織切片に存在する領域、構造及び細胞種の間の局在の関係性に係る情報を取得する。
前記組織切片は、蛍光物質を複数集積した蛍光物質集積ナノ粒子に生体物質認識部位を結合した染色試薬を用いて、当該組織切片に存在する特定の生体物質が蛍光観察可能に染色され、
前記画像取得工程において、さらに、前記組織切片のデジタル化された蛍光画像を取得し、
前記スコア作成工程において、さらに、前記蛍光画像から前記特定の生体物質の存在に係る情報を取得し、前記複数種の情報と組み合わせてスコア化した解析スコアを作成する。
前記組織切片上の特定の領域に存在する生体物質を、蛍光物質により蛍光観察可能に染色する領域可視化工程を備える。
組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置であって、
明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部と、
前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部と、
前記解析スコアを、前記支援情報として提示する情報提示部と、を備え、
前記スコア作成部は、前記組織切片に存在する種々の領域の面積の割合又は比に基づくスコア、種々の構造の有無、種々の構造の密度又は種々の構造の出現数に基づくスコア、各細胞種の数、各細胞種の密度、異なる細胞種の距離又は特定の細胞種と特定の構造の距離に基づくスコアの順に算出し、算出した当該スコアに基づいて前記解析スコアを作成する。
組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置のコンピューターを、
明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部、
前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部、
前記解析スコアを、前記支援情報として提示する情報提示部、
として機能させ、
前記スコア作成部は、前記明視野画像から前記組織切片に存在する種々の領域の面積の割合又は比に基づくスコア、種々の構造の有無、種々の構造の密度又は種々の構造の出現数に基づくスコア、各細胞種の数、各細胞種の密度、異なる細胞種の距離又は特定の細胞種と特定の構造の距離に基づくスコアの順に算出し、算出した当該スコアに基づいて前記解析スコアを作成する。
「領域」とは、同じ構造または細胞が一定量集合して存在する範囲のことを示す。
領域のうち、本実施形態に係る「腫瘍領域」は、後述する腫瘍細胞が一定量集合して形成された領域を示し、「間質領域」は、後述する間質細胞が一定量集合して形成された領域を示す。
2.構造
「構造」とは、細胞が一定量集合して存在し、何らかの生理的活動を行っているものを示す。構造として、例えば、血管、リンパ管、分泌腺等が挙げられる。
3.細胞種
「細胞種」とは、それ一つで機能を持ち、働く最小の単位の細胞の種類を示す。
細胞種のうち、本実施形態における「腫瘍細胞」は、生体内の制御に反して自律的に過剰に増殖する細胞を示し、悪性腫瘍を形成する「がん細胞」を含む。「間質細胞」は、生体組織の支持構造を形成する細胞を広く示し、免疫細胞、炎症細胞、線維芽細胞、内皮細胞等を含む。なお、がん細胞と間質細胞とが密接に相互作用を行うことにより、がんが進行していくことが知られている。
図1に、本実施形態に係る情報提供方法を実行する病理診断支援システム100の全体構成例を示す。病理診断支援システム100は、所定の染色試薬で染色された組織切片の顕微鏡画像を取得及び解析し、支援情報を出力するシステムである。
従来、組織切片に存在する特定の領域、構造、細胞種に係る情報や、組織切片に存在する特定の生体物質の発現量や生体に投与された医薬品の有効成分の局在などの情報に基づき、生体に投与された医薬品の薬効予測、観察対象の予後予測又は病理診断などの種々の判断が行われる。このような判断は、病理医や医薬品開発の従事者等のユーザーのみならず、近年では人工知能を用いて自動的にこれらの情報を認識し、判断することも行われている。本実施形態に係る支援情報は、これらの判断の精度向上を支援するために提供される。具体的には、支援情報は、組織切片上の特定の領域、構造、細胞種の存在数や配置などの情報に基づいて算出される解析スコアの形態をとることができるが、上述した種々の判断をサポートするための、客観的かつ高精度な指標として機能する。
病理診断支援システム100は、顕微鏡画像取得装置1Aと情報提供装置2Aとが、同一の建物内など互いに近傍に配置されるシステムである場合と、顕微鏡画像取得装置1Aと情報提供装置2Aとが、互いに遠く離れた地点に配置されるシステムである場合と、のどちらであってもよい。通信ネットワークNは特に限定されず、接続方式は有線であっても無線であってもよいが、顕微鏡画像取得装置1Aと情報提供装置2Aとが近傍に配置される場合、例えばLAN(Local Area Network)が挙げられ、顕微鏡画像取得装置1Aと情報提供装置2Aとが遠隔地に配置される場合、例えばインターネットなどのWAN(Wide Area Network)が挙げられる。
顕微鏡画像取得装置1Aは、照射手段、結像手段、撮像手段、通信I/F等を備えて構成されている。照射手段は、光源、フィルター等により構成され、スライド固定ステージに載置されたスライド上の組織切片に光を照射する。結像手段は、接眼レンズ、対物レンズ等により構成され、照射した光によりスライド上の組織切片から発せられる透過光、反射光、又は蛍光を結像する。撮像手段は、CCD(Charge Coupled Device)センサー等を備え、結像手段により結像面に結像される像を撮像して顕微鏡画像のデジタル画像データを生成する顕微鏡設置カメラである。通信I/Fは、生成された顕微鏡画像のデジタル画像データを、通信ネットワークNを介して情報提供装置2Aに送信する。本実施の形態において、顕微鏡画像取得装置1Aは、明視野観察に適した照射手段及び結像手段を組み合わせた明視野ユニット、蛍光観察に適した照射手段及び結像手段を組み合わせた蛍光ユニットが備えられており、前者を用いて明視野画像、後者を用いて蛍光画像をそれぞれ取得することができる。
即ち、顕微鏡画像取得装置1Aと情報提供装置2Aとが互いに遠く離れた地点に配置された場合であっても、ユーザーが情報提供装置2Aによって、遠隔地から顕微鏡画像取得装置によって取得された情報を利用することが可能である。
図2に、情報提供装置2Aの機能構成例を示す。図2に示すように、情報提供装置2Aは、制御部21、操作部22、表示部23、通信I/F24、記憶部25等を備えて構成され、各部はバス26を介して接続されている。
その他、情報提供装置2Aは、LANアダプターやルーター等を備え、通信ネットワークNを介して外部機器と接続される構成としてもよい。
以下、本実施形態に係る情報提供方法について説明する。
本発明に係る情報提供方法は、観察対象の薬効予測、予後予測、又は病理診断などの、組織切片から得られる情報に基づく種々の判断を支援するための支援情報の提供方法である。
また、上記工程に加えて、4.蛍光物質集積ナノ粒子を用いて染色された組織切片の、デジタル化された蛍光画像を取得する工程(画像取得工程)と、を有し、スコア作成工程において、明視野画像から取得された情報に加え、蛍光画像から取得された情報を組み合わせてスコア化した解析スコアを作成するものとすることで、支援情報の精度を向上させることができる。
本実施形態に係る情報提供方法においては、上記1~4の工程を有し、明視野画像及び蛍光画像から得られる情報に基づいて解析スコアを作成する。
組織標本とは、一般的には、免疫組織化学染色により特定の生体物質の発現量を評価する場合などで慣用されているような、組織切片や細胞を載置した標本スライドの形態をとる。本実施形態においては、腫瘍組織から採取した組織切片を用いるものとする。
組織標本の作製法は特に限定されず、一般的には、例えば、被験体から採取した組織切片を、ホルマリン等を用いて固定し、アルコールで脱水処理した後、キシレン処理を行い、高温のパラフィン中に浸すことでパラフィン包埋を行うことで作製した組織試料を3~4μmの切片にすることで得ることができ、当該組織切片をスライドガラス上に載置して乾燥することで標本スライドを作製することができる。
以下、組織標本を、染色試薬を用いて染色する染色工程について述べる。
(2.1.1)脱パラフィン処理
キシレンを入れた容器に、組織切片を浸漬させ、パラフィン除去する。温度は特に限定されるものではないが、室温で行うことができる。浸漬時間は、3分以上30分以下であることが好ましい。また必要により浸漬途中でキシレンを交換してもよい。
後述する蛍光染色工程において目的物質の染色を行うため、公知の方法に倣い、当該目的物質の賦活化処理を行う。賦活化条件に特に定めはないが、賦活液としては、0.01Mのクエン酸緩衝液(pH6.0)、1mMのEDTA溶液(pH8.0)、5%尿素、0.1Mのトリス塩酸緩衝液などを用いることができる。
pH条件は用いる組織切片に応じてpH2.0~13.0の範囲から、シグナルが出て、組織の荒れがシグナルを評価できる程度となる条件で行う。通常はpH6.0~8.0で行うが、特殊な組織切片ではたとえばpH3.0でも行う。
加熱機器はオートクレーブ、マイクロウェーブ、圧力鍋、ウォーターバスなどを用いることができる。温度は特に限定されるものではないが、室温で行うことができる。温度は50~130℃、時間は5~30分で行うことができる。
形態染色工程は、明視野において細胞、組織、臓器などの形態を観察することができるように可視化させるための染色を行う工程である。
組織標本の形態観察に関しては、細胞質・間質・各種線維・赤血球・角化細胞が赤~濃赤色に染色される、エオジンを用いた染色が標準的に用いられている。細胞核・石灰部・軟骨組織・細菌・粘液が青藍色~淡青色に染色される、ヘマトキシリンを用いた染色も標準的に用いられている(これら2つの染色を同時に行う方法はヘマトキシリン・エオジン染色(HE染色)として知られている)。
形態染色工程は、常法に従って行うことができる。例えば、HE染色の場合、組織標本をマイヤーヘマトキシリン液に浸漬させて、ヘマトキシリン染色を行った後、流水で組織標本を洗浄し、エオジン液に浸漬させて、エオジン染色を行う。形態染色工程を行う上での条件、すなわち染色液に組織標本を浸漬する際の温度および浸漬時間等は、定法に準じて適宜調整することができる。
蛍光染色工程は、目的物質を蛍光物質集積ナノ粒子によって蛍光観察を行うための染色を行う工程である。蛍光染色工程では、目的物質を染色するために、免疫染色剤の溶液を切片に乗せ、目的物質と反応させる、免疫組織化学染色を行う。蛍光染色工程に用いる免疫染色剤の溶液については、この工程の前にあらかじめ調製しておけばよい。
なお、蛍光染色工程は、形態染色工程の後に行うようにしてもよいし、形態染色工程の前に行うようにしてもよい。
目的物質とは、主に病理診断の観点からの検出または定量のために、蛍光標識体を用いた免疫組織化学染色の対象とするものをいう。具体的には、組織切片に存在するタンパク質(抗原)、核酸などの生体物質が想定される。さらに、生体に投与される医薬品(抗体医薬や核酸医薬など)に含まれる抗体や核酸なども目的物質の例として挙げられる。本実施形態においては、目的物質として、以下に例示する生体物質のうちいずれかを染色するものとする。
タンパク質としては、免疫細胞に発現しており、バイオマーカーとして利用することができるタンパク質を挙げることができる。例えば、PD-1、CTLA-4、TIM3、Foxp3、CD3、CD4、CD8、CD25、CD27、CD28、CD70、CD40、CD40L、CD80、CD86、CD160、CD57、CD226、CD112、CD155、OX40(CD134)、OX40L(CD252)、ICOS(CD278)、ICOSL(CD275)、4-1BB(CD137)、4-1BBL(CD137L)、2B4(CD244)、GITR(CD357)、B7-H3(CD276)、LAG-3(CD223)、BTLA(CD272)、HVEM(CD270)、GITRL、ガレクチン-9(Galectin-9)、B7-H4、B7-H5、PD-L2、KLRG-1、E-Cadherin、N-Cadherin、R-CadherinおよびIDO、TDO、CSF-1R、HDAC、CXCR4、FLT-3、TIGITなどが挙げられるが、これらに限定されない。
核酸としては、DNAやRNA関連物質(mRNA、tRNA、rRNA、miRNA、non-codingRNAなど)などが挙げられる。
抗体を成分に含む医薬品としては、抗体を有効成分として含む医薬品のほか、抗がん剤、抗ウイルス剤、抗生物質等を有効成分とし、がん細胞へのデリバリー手段としてがん細胞特異的タンパク質を認識する抗体が含まれる医薬品や、有効成分が標的とする因子(タンパク質)の関連するシグナル伝達経路の因子を標的とする抗体を含む医薬品等が挙げられる。これらの医薬品に含まれる抗体としては、がんの増殖制御因子、転移制御因子又はがん細胞特異的タンパク質などを特異的に認識する抗体が好ましく、モノクローナル抗体でもポリクローナル抗体でも良い。抗体のクラスやサブクラスは特に限定されず、クラスとしては、IgA、IgG、IgE、IgD、IgMなどを挙げることができ、サブクラスとしては、IgG1、IgG2、IgG3、IgG4、IgA1、IgA2などを挙げることができる。なお、本明細書における「抗体」という用語には、全長の抗体だけでなく、Fab、F(ab)’2、Fv、scFvなどの抗体断片およびキメラ抗体(ヒト化抗体等)、多機能抗体などの誘導体が包含される。
核酸を成分に含む医薬品としては、DNA若しくはRNAである核酸、又はPNA等の人工核酸であれば特に限定されず、好ましい例としてデコイ、アンチセンス、siRNA、miRNA、リボザイム、アプタマー及びプラスミドDNA等を挙げることができる。
蛍光物質集積ナノ粒子(Phosphor Integrated Dot:PID)とは、励起光の照射を受けて蛍光発光するナノサイズの粒子であって、目的物質を1分子ずつ輝点として表すのに十分な強度の蛍光を発光しうる粒子である。
蛍光物質集積ナノ粒子は、有機物または無機物でできた粒子を母体とし、複数の蛍光物質(例えば、後述する蛍光有機色素や量子ドットなど)がその中に内包されている及び/又はその表面に吸着している構造を有する、ナノサイズの粒子であり、蛍光色素集積ナノ粒子、量子ドット集積ナノ粒子などが使用される。
蛍光物質集積ナノ粒子としては、母体と蛍光物質とが、互いに反対の電荷を有する置換基または部位を有し、静電的相互作用が働くものであることが好適である。
蛍光画像の取得のための染色試薬に用いられる蛍光物質としては、蛍光有機色素及び量子ドット(半導体粒子)を挙げることができる。200~700nmの範囲内の波長の紫外~近赤外光により励起されたときに、400~1000nmの範囲内の波長の可視~近赤外光の発光を示すことが好ましい。
量子ドットは必要に応じて、有機ポリマー等により表面処理が施されているものを用いてもよい。例えば、表面カルボキシ基を有するCdSe/ZnS(インビトロジェン社製)、表面アミノ基を有するCdSe/ZnS(インビトロジェン社製)等が挙げられる。
母体のうち、有機物としては、メラミン樹脂、尿素樹脂、アニリン樹脂、グアナミン樹脂、フェノール樹脂、キシレン樹脂、フラン樹脂など、一般的に熱硬化性樹脂に分類される樹脂;スチレン樹脂、アクリル樹脂、アクリロニトリル樹脂、AS樹脂(アクリロニトリル-スチレン共重合体)、ASA樹脂(アクリロニトリル-スチレン-アクリル酸メチル共重合体)など、一般的に熱可塑性樹脂に分類される樹脂;ポリ乳酸等のその他の樹脂;多糖を例示することができる。
母体のうち、無機物としては、シリカ、ガラスなどを例示することができる。
量子ドット集積ナノ粒子とは、上記量子ドットが、上記母体の中に内包されている、及び/又はその表面に吸着している構造を有する。
量子ドットが母体に内包されている場合、量子ドットは母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
蛍光色素集積ナノ粒子とは、上記蛍光有機色素が、上記母体の中に内包されている、及び/又はその表面に吸着している構造を有する。
なお、蛍光有機色素が母体に内包されている場合、蛍光有機色素は母体内部に分散されていればよく、母体自体と化学的に結合していてもよいし、していなくてもよい。
蛍光物質集積ナノ粒子は、公知の方法に従って作製することができる。
具体的には、例えば、シリカを母体とし、その中に蛍光物質が内包されている蛍光物質内包シリカ粒子は、量子ドット、蛍光有機色素などの蛍光物質と、テトラエトキシシランのようなシリカ前駆体とが溶解している溶液を、エタノールおよびアンモニアが溶解している溶液に滴下し、シリカ前駆体を加水分解することにより作製することができる。
例えば、母体となる樹脂としてメラミン樹脂のような熱硬化性樹脂を用いる場合、その樹脂の原料(モノマーまたはオリゴマーないしプレポリマー、たとえばメラミンとホルムアルデヒドの縮合物であるメチロールメラミン)と、蛍光有機色素と、好ましくはさらに界面活性剤および重合反応促進剤(酸など)とを含有する反応混合物を加熱し、乳化重合法によって重合反応を進行させることにより、蛍光色素集積樹脂粒子を作製することができる。また、母体となる樹脂としてスチレン系共重合体のような熱可塑性樹脂を用いる場合、その樹脂の原料と、蛍光有機色素と(樹脂の原料モノマーとして、あらかじめ有機蛍光色素を共有結合などで結合させたモノマーを用いるようにしてもよい)、重合開始剤(過酸化ベンゾイル、アゾビスイソブチロニトリルなど)を含有する反応混合物を加熱し、ラジカル重合法またはイオン重合法によって重合反応を進行させることにより、蛍光色素集積樹脂粒子を作製することができる。
本実施の形態で用いられる蛍光物質集積ナノ粒子の平均粒径は特に限定されないが、粒子径が大きいものは抗原にアクセスしにくく、粒子径が小さく輝度値が低いものは蛍光物質集積ナノ粒子の信号がバックグラウンドノイズ(カメラのノイズや細胞の自家蛍光)に埋もれてしまうことから、20~500nm程度のものが好適である。
また、粒径のばらつきを示す変動係数(=(標準偏差/平均値)×100%)は特に限定されないが、20%以下のものを用いることができ、好ましくは5~15%である。
平均粒径は、走査型電子顕微鏡(SEM)を用いて電子顕微鏡写真を撮影し十分な数の粒子について断面積を計測し、各計測値を円の面積としたときの円の直径を粒径として求めた。本願においては、1000個の粒子の粒径の算術平均を平均粒径とした。変動係数も、1000個の粒子の粒径分布から算出した値とした。
一次抗体には、目的物質としてのタンパク質を抗原として特異的に認識して結合する抗体(IgG)を用いることができる。
なお、一次抗体は、特定の生体物質(抗原)を特異的に認識して結合する能力を有するものであれば、天然の全長の抗体でなく、抗体断片または誘導体であってもよい。
免疫染色剤は、目的物質に直接的又は間接的に結合しうる抗体と標識物質とを、直接的又は間接的に結合させた標識化抗体を、適当な媒体に分散させて生成される。
なお、蛍光標識の効率を向上させて蛍光の劣化につながる時間経過をなるべく抑えるためには、一次抗体および蛍光物質集積ナノ粒子が間接的に、つまり抗原抗体反応やアビジン・ビオチン反応などを利用した、共有結合以外の結合によって連結される複合体を用いることが好ましいが、これに限定されない。
蛍光物質集積ナノ粒子が樹脂を母体とする場合、その樹脂が有する官能基と、アビジン(タンパク質)が有する官能基とを、必要に応じて分子の両末端に官能基を有するPEG等のリンカー分子を介することにより、結合させることができる。例えば、メラミン樹脂であればアミノ基等の官能基を利用することができるし、アクリル樹脂、スチレン樹脂等であれば、側鎖に官能基(たとえばエポキシ基)を有するモノマーを共重合させることにより、その官能基自体またはその官能基から変換された官能基(例えばアンモニア水を反応させることにより生成するアミノ基)を利用することができるし、さらにはそれらの官能基を利用して別の官能基を導入することもできる。
一方、アビジンに対しては、たとえばN-スクシンイミジルS-アセチルチオアセテート(SATA)をアビジンのアミノ基と反応させることにより、チオール基を導入することができる。そして、アミノ基との反応性を有するN-ヒドロキシスクシンイミド(NHS)エステルおよびチオール基との反応性を有するマレイミド基をポリエチレングリコール(PEG)鎖の両端に有するクロスリンカー試薬を利用することにより、アミノ基を有する蛍光物質集積ナノ粒子と、チオール基が導入されたアビジンとを連結することができる。
温度は特に限定されるものではないが、室温で行うことができる。反応時間は、30分以上24時間以下であることが好ましい。
上述したような処理を行う前に、BSA含有PBSなど公知のブロッキング剤やTween20などの界面活性剤を滴下することが好ましい。
形態染色工程及び蛍光染色工程を終えた組織標本は、観察に適したものとなるよう、固定化・脱水、透徹、封入などの処理を行うことが好ましい。
これらの処理を行う上での条件、たとえば組織標本を所定の処理液に浸漬する際の温度および浸漬時間は、従来の免疫染色法に準じて、適切なシグナルが得られるよう適宜調整することができる。
画像取得工程では、まず、顕微鏡画像取得装置1Aを明視野ユニットに設定したうえで所望の倍率に設定し、形態染色工程によって染色された組織標本全体の明視野画像を観察・撮影する。
次いで、顕微鏡画像取得装置1Aを蛍光ユニットに設定し、蛍光染色工程に用いられた目的物質を蛍光標識するそれぞれの蛍光物質に対応した励起光を組織標本に照射し、それらの蛍光物質から発せられた蛍光による組織標本全体の蛍光画像を観察・撮影する。
スコア作成工程では、まず明視野画像における領域、構造及び細胞種などの複数種の情報を取得し、各々の情報を組み合わせてスコア化した形態スコアを算出する。
画像処理及びスコア化に用いることができるソフトウェアとしては、例えば「ImageJ」(オープンソース)が挙げられる。このような画像処理ソフトウェアを利用することにより、一細胞ごとに識別可能に染色された明視野画像から、細胞ごとの形状や、細胞が集まって形成された領域、構造の形状に基づいて、領域、構造及び細胞種の判別を行う処理や、領域、構造及び細胞種の数、面積などの情報に基づいてスコアを算出する処理などを半自動的に、迅速に行うことができる。
画像処理及び発現解析にも、上記した「ImageJ」(オープンソース)などのソフトウェアを利用することができる。即ち、蛍光画像から、所定の波長(色)の輝点を抽出し、そのうち所定の輝度以上の輝点の数を計測する処理などを半自動的に、迅速に行うことができる。
本実施形態に係る病理診断支援システム100においては、必要に応じて、腫瘍領域と間質領域とを識別するための蛍光染色を行う工程を含むことができる。即ち、例えば間質領域に多く存在する物質を蛍光標識し、蛍光観察を行うことで、蛍光が観測される間質領域と、蛍光が観察されないか、あるいは微弱な傾向が観察される腫瘍領域との境界を、ユーザーが蛍光観察によって確認することが可能となる。これにより、明視野画像に基づく腫瘍領域と間質領域との識別をサポートすることができる。
具体的には、以下の染色が有効である。
間質領域中に存在するサイトカインを蛍光標識することで、腫瘍領域と間質領域を蛍光観察によって明確に識別することができる。即ち、腫瘍領域に比べ、間質領域においてはサイトカインが多量に存在するため、蛍光輝度の違いにより腫瘍領域と間質領域との境界を視認することができる。
本工程においては、サイトカインを抗原として特異的に認識して結合する抗体(IgG)を用い、当該抗体を蛍光物質で標識した免疫染色剤を用いて組織標本を染色する。なお、蛍光標識に用いる蛍光物質は、蛍光物質集積ナノ粒子に限定されず、単体の蛍光色素を用いても腫瘍領域と間質領域とを十分に識別することができる。
具体的には、上記「(2.3)蛍光染色工程」と同様の手順によって染色することができる。また、サイトカインの蛍光染色は、上記「(2.3)蛍光染色工程」における目的物質の蛍光染色と同時に行うことが可能である。ただし、目的物質を標識した蛍光物質集積ナノ粒子とは、蛍光波長の異なる蛍光物質を用いることが望ましい。
サイトカインの例としては、IL-1、IL-2、IL-4、IL-6、IL-10、IL-12、IL-18、IFN-α、IFN-β、IFN-γ、TNF、TGF-βが挙げられる。
免疫細胞におけるタンパク質とは、ここでは免疫細胞に特異的に発現するタンパク質を指し、これを蛍光標識することでも、腫瘍領域と間質領域を蛍光観察によって明確に識別することができる。即ち、間質領域における免疫細胞に基づく蛍光輝度が、腫瘍領域における免疫細胞に基づく蛍光輝度に比べて大幅に大きいため、輝度の違いから領域の境界を視認することができる。なお、上記「(2.3)蛍光染色工程」において間質領域に高発現するタンパク質の蛍光染色を行う場合には、目的物質の蛍光観察によって本工程を代替することができるが、これを行わない場合には、本工程で以下に例示するタンパク質を蛍光染色することが有効である。
本工程においては、免疫細胞におけるタンパク質を抗原として特異的に認識して結合する抗体(IgG)を用い、当該抗体を蛍光物質で標識した免疫染色剤を用いて組織標本を染色する。蛍光標識をするための蛍光物質は、蛍光物質集積ナノ粒子に限定されず、単体の蛍光色素でも腫瘍領域と間質領域とを十分に識別することができる。なお、染色は、上記「(2.3)蛍光染色工程」同様の手順によって行うことができる。
免疫細胞におけるタンパク質の例としては、PD-1、CTLA-4、TIM3、Foxp3、CD3、CD4、CD8、CD25、CD27、CD28、CD70、CD40、CD40L、CD80、CD86、CD160、CD57、CD226、CD112、CD155、OX40(CD134)、OX40L(CD252)、ICOS(CD278)、ICOSL(CD275)、4-1BB(CD137)、4-1BBL(CD137L)、2B4(CD244)、GITR(CD357)、B7-H3(CD276)、LAG-3(CD223)、BTLA(CD272)、HVEM(CD270)、GITRL、ガレクチン-9(Galectin-9)、B7-H4、B7-H5、PD-L2、KLRG-1、E-Cadherin、N-Cadherin、R-CadherinおよびIDO、TDO、CSF-1R、HDAC、CXCR4、FLT-3、TIGITが挙げられる。
以下、病理診断支援システム100において、上記説明した蛍光画像及び明視野画像を取得して解析を行う動作について説明する。ここでは、免疫細胞において発現するタンパク質から任意のものを目的物質として選択し、当該目的物質を認識する生体物質認識部位が結合した蛍光物質集積ナノ粒子を含む染色試薬を用いて染色された組織標本を観察対象とする場合を例にとり説明する。
その後、顕微鏡画像取得装置1Aにおいて、(a1)~(a5)の手順により明視野画像及び蛍光画像が取得される。
(a1)操作者は、HE染色試薬と蛍光物質集積ナノ粒子を含む染色試薬とによりそれぞれ染色された組織標本をスライドに載置し、当該スライドを顕微鏡画像取得装置1Aのスライド固定ステージに設置する。
(a2)明視野ユニットに設定し、撮影倍率、ピントの調整を行う。
(a3)撮像手段で組織標本全体の撮影を行って明視野画像の画像データを生成し、情報提供装置2Aに画像データを送信する。
(a4)ユニットを蛍光ユニットに変更する。
(a5)視野及び撮影倍率を変えずに撮像手段で組織標本全体の撮影を行って蛍光画像の画像データを生成し、情報提供装置2Aに画像データを送信する。
図3に、情報提供装置2Aにおける処理のフローチャートを示す。図3に示す処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
図4に、ステップS2における処理の詳細フローを示す。ステップS2の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
図5に、ステップS21における処理の詳細フローを示す。ステップS21の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
具体的には、まず、明視野画像がモノクロ画像に変換され、モノクロ画像に対してあらかじめ定められた閾値を用いた閾値処理が施され、各画素の値が2値化される。
さらに、クロージング処理やオープニング処理が施されることによりノイズ処理が実施される。ノイズ処理後には、細胞核が抽出された画像(細胞核画像)が得られる。
次いで、ノイズ処理後の画像にラベリング処理が施され、抽出された細胞核のそれぞれにラベルが付与される。ラベリング処理とは、連結している画素に同じラベル(番号)を付与していくことで画像内のオブジェクトを識別する処理である。ラベリング処理により、ノイズ処理後の画像から各細胞核を識別してラベルを付与することができる。
なお、ステップS211においては、細胞核を抽出する方法の他、細胞自体を抽出するものとしてもよい。この場合、ノイズ処理後には細胞が抽出された画像が取得され、ラベリング処理により各細胞にラベルが付与される。
具体的には、ステップS211で抽出された細胞核画像内の全細胞核について、細胞核画像から、細胞核の面積A、細胞核の平均濃度B、細胞核内のピクセル輝度バラつき(σ値)C、細胞核の円形度D、細胞核の扁平率Eなどの細胞特徴量が算出される。
細胞核の面積Aについては、予め細胞核画像に対応した基準となる長さを測定することで画素(ピクセル)の大きさを算出し、ステップ211で抽出された各細胞核内の画素数を積算することにより、細胞核の面積Aが決定される。
細胞の平均濃度Bは、細胞核内の各画素(ピクセル)のグレイスケールに変換した輝度信号値を求め、その平均値を算出することにより決定される。
ピクセル輝度バラツキCは、細胞核内の各画素(ピクセル)の輝度信号値の標準偏差を算出することにより決定される。
細胞核の円形度D及び扁平率Eは、ステップ211で抽出された各細胞核について、細胞核画像から得られる一定の値を、下記式(d)、(e)に当てはめることで決定される。
(円形度D)=4πS/L2 … (d)
(扁平率E)=(a-b)/a … (e)
ただし、式(d)中、「S」は細胞の面積(細胞核の面積A)を、「L」は細胞核の外周長をそれぞれ表す。式(e)中、「a」は長半径を、「b」は短半径をそれぞれ表す。
ステップS22においては、例えば、細胞核画像から細胞が一定量集合して形成された構造を抽出する。続いて、抽出された各構造から、構造の面積、平均輝度、輝度のばらつき、扁平率、円形度などの特徴量を算出し、当該特徴量に基づいて、血管、リンパ管、分泌腺などを識別する。
領域の特定においては、腫瘍細胞が一定量集合して存在する腫瘍領域と、間質細胞が一定量集合して存在する間質領域と、が特定される。
ステップS23においては、例えば、ステップS21において細胞核画像上で腫瘍細胞と特定された細胞(細胞核)の集合が、所定の面積以上を占めている場合に、当該腫瘍細胞の集合を腫瘍領域として特定することができる。同様に、ステップS21において間質細胞と特定された細胞(細胞核)の集合が、所定の面積以上を占めている場合に、当該間質細胞の集合を間質領域として特定することができる。
ステップS23の処理により、スコア算出対象の特定が完了する。
ユーザーによる補助作業とは、例えば、ステップS21の領域の特定処理においては、入力された情報提供装置2Aの表示部23に表示された明視野画像に対して、ユーザーによって明視野画像上の特定の領域を、操作部22を用いて多角形や自由曲線等の閉じた図形で囲むことにより選択し、各選択箇所を「腫瘍領域」、「間質領域」など定義づける動作を含む。また、蛍光画像における蛍光を観察することにより、明視野画像における領域の特定処理の結果を確認する動作を含む。
ステップS22の構造の特定処理及びステップS23の細胞種の特定処理においても、同様にユーザーによって明視野画像上で選択及び定義づけする動作を含む。
また、ステップS233の細胞特徴量の閾値処理においては、例えば、記憶部25に記憶されているプログラムに対し細胞特徴量の各閾値を段階的に調整し、特定された細胞種の目視による確認等を含む。
図6に、ステップS3における処理の詳細フローを示す。ステップS24の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
領域に基づくスコアとは、組織切片上に存在する腫瘍領域及び間質領域などの種々の領域から得られる情報をスコア化したものである。腫瘍領域の大きさはがんの悪性度と関連付けられるため、例えば、撮像した組織切片の全体の面積のうちの腫瘍領域が占める割合や、全体の面積のうちの腫瘍領域及び間質領域が占める面積の割合、間質領域の面積と腫瘍領域の面積の比などをスコア化することが有効である。
構造に基づくスコアとは、組織切片上に存在する血管、リンパ管及び分泌管など種々の構造から得られる情報をスコア化したものである。血管の密度ががんの悪性度の評価指標となることが知られているため、例えば、がんの悪性度に関連する構造の、組織切片上の存在の有無、密度又は出現数などをスコア化することが有効である。
細胞種に基づくスコアとは、組織切片上に存在する腫瘍細胞、間質細胞などの細胞種から得られる情報をスコア化したものである。例えば、がん細胞及び正常細胞のそれぞれの、組織切片上に存在する数をスコア化してもよい。また、これらのがん細胞の組織切片上の密度や、腫瘍領域におけるがん細胞と、間質領域における免疫細胞との距離など、異なる細胞種間の距離や、腫瘍領域におけるがん細胞と間質領域における血管との距離などの、特定の細胞出と特定の構造との距離といった、病理診断において注目される種々の情報をスコア化してもよい。
ステップS33の処理により、形態スコアの算出が完了し、図3に戻る。
また、上記した領域スコア、構造スコア及び細胞種スコアの算出方法は一例であって、これに限定されない。その他、病理診断において注目される項目をスコア化するのが望ましい。
ステップS5においては、まず、蛍光画像からR成分の抽出が行われ、R成分が抽出された画像にTophat変換が施される。Tophat変換は、入力画像の各画素の値から、入力画像に最小値フィルター及び最大値フィルターをこの順でかけた画像の、対応する画素の値を減算する処理である。最小値フィルターは、注目画素の近傍の画素(例えば、3×3画素)のうちの最小値で注目画素の値を置き換えるものである。最大値フィルターは、注目画素の近傍の画素(例えば、3×3画素)のうちの最大値で注目画素の値を置き換えるものである。Tophat変換により、濃淡プロファイル上の小突起(近傍の画素に比べて輝度の高い領域)を抽出することができる。これにより、蛍光輝点候補画像を得ることができる。次いで、蛍光輝点候補画像からノイズ除去が行われることにより、蛍光輝点が抽出された画像(蛍光輝点画像)が得られ、ノイズ除去後の画像にラベリング処理が施され、抽出された蛍光輝点のそれぞれにラベルが付与される。
図7に、ステップS6における処理の詳細フローを示す。ステップS6の処理は、制御部21と記憶部25に記憶されているプログラムとの協働により実行される。
明視野画像と蛍光画像とで共通に検出される情報源としては、明視野画像及び蛍光画像の両方で認識可能な情報が用いられ、本実施形態では組織切片の染色材料であるエオジンの染色情報が用いられる。エオジンの染色情報からは、明視野画像及び蛍光画像の各画像においてその画像を特徴付けるコントラスト情報やエッジ情報、輪郭情報等の画像特徴量が算出される。
明視野画像及び蛍光画像のそれぞれのエオジンの染色情報から、各画像におけるコントラスト情報、エッジ情報及び輪郭情報が算出される。そしてこれら画像間の情報同士が比較され、その共通点を合致させることにより、明視野画像と蛍光画像との位置合わせが行われる。
具体的には、例えば、明視野画像と蛍光画像とを重ね合わせた状態において、ステップS23で特定した細胞に対応する部分の蛍光輝点数が算出される。また、蛍光輝点数のほか、輝点領域ごとに輝度値を算出し、その蛍光画像中のすべての輝点領域の輝度値を総計した輝度積分値を算出するものとしてもよい。
存在状況に応じたスコアは、一細胞当たりの目的物質の存在量や細胞内局在等に応じて算出されるスコアである。なお、複数の目的物質を蛍光染色した場合には、ステップS5及びステップS6の処理は各目的物質について行い、各目的物質についての生体物質スコアを得ることができる。
ステップS63により、生体物質スコアの算出を完了する。
解析スコアの算出は、ステップS3で算出した形態スコアと、ステップS6で算出した生体物質スコアを合算することで行われる。
なお、形態スコア及び生体物質スコアの合算に際して、ユーザーが欲する支援情報を得られるように、任意の重みづけを行ってもよい。
以上により、情報提供装置2Aにおける処理を終了する。
また、組織切片の画像をデジタル解析して評価を行うため、病理医等による主観的な判断に比べ、客観的な情報を提供することができ、本実施形態に係る情報提供方法によって病理診断等の種々の判断がサポートされ、精度の向上を図ることができる。
さらに、腫瘍領域におけるがん細胞と間質領域における免疫細胞との距離や、がん細胞と血管などの特定の構造との距離など、領域、構造及び細胞種の間の局在の関係性に係る情報を用いて解析スコアを作成することで、より信頼性の高い支援情報を提供することができる。
また、領域、構造及び細胞種のそれぞれについてスコア化することを基本とし、目的に応じてスコア化する項目及び重みづけを設定することで、ユーザーが欲する情報をスコアとして提示することができる。
本発明は、上記したように、病理切片から得られる情報を自動的にスコア化して提示することで病理医等による種々の判断をサポートすることを目的とするが、これは、明視野画像から得られる複数種の情報(領域、構造及び細胞種に係る情報)を組み合わせたスコアによって、実際に病理医等が判断を行う際の判断基準に近い方法で病理切片を評価した結果を得ることができるため、十分にその目的を達成することができる。
即ち、特許文献1及び特許文献2のように、生体物質を蛍光染色することが必ずしも必要ではなく、形態染色工程のみによっても解析スコアを作成することが可能であるため、染色ごとのスライド間のばらつきや手間を省略することができる。
図8Aは、被検体から採取された組織切片にHE染色を施した組織標本を、顕微鏡画像取得装置1Aの明視野ユニットを用いて撮影して得られた明視野画像200である。図8Aに示すように、明視野画像200上に、腫瘍領域210及び間質領域220が存在し、間質領域220には血管230が存在する。
なお、組織切片は、蛍光物質集積ナノ粒子を用いて目的物質(HER2)を染色しており、図示を省略するが、顕微鏡画像取得装置1Aの蛍光ユニットを用いて、明視野画像200と同一の視野の蛍光画像を取得した。
まず、領域面積をスコア化する(ステップS101)。ここでは、腫瘍領域210及び間質領域220の面積が、組織標本全体の面積に占める割合をスコア化した値N1を算出するものとし、N1を、(腫瘍領域210及び間質領域220の面積/明視野画像200の面積)の式で得られる値を規格化した値とする。
図8Aの組織標本からは、N1=40が得られた。
図8Aの組織標本においては、間質領域220に血管230が観察されるため、N2=20が得られた。
図8Aの組織標本においては、血管230が所定の数よりも多いため、N3=(N1+N2)×2=(40+20)×2=120が得られた。
図8Aの組織標本からは、N4=30が得られた。
図8Aの組織標本においては、腫瘍細胞の密度が所定の密度よりも高いため、N5=10が得られた。
ここでは、組織標本上の腫瘍領域210における腫瘍細胞と、間質領域220における免疫細胞との距離が、所定の距離よりも短い(細胞同士が近い)場合には、N6=(N4+N5)×2とし、所定の距離よりも大きい(細胞同士が遠い)場合には、N6=(N4+N5)×1とする。
図8Aの組織標本においては、細胞間距離が所定の距離よりも小さいためN6=(N4+N5)×2=(30+10)×2=80が得られた。
図8Aの組織標本からは、N7=50が得られた。
図8Aの組織標本からは、N=N3+N6+N7=120+80+50=250が得られた。
この解析スコアN=250をユーザーに提示する。例えば、予め解析スコアの数値が、がん悪性度に紐づけられている場合には、ユーザーは解析スコアを参照して被検者のがんの悪性度を判断することができる。このように、解析スコアを病理診断等における種々の指標とすることができる。
以上、本発明を適用した好ましい実施形態について説明したが、上記実施形態における記述内容は、本発明の好適な一例であり、これに限定されるものではない。
1A 顕微鏡画像取得装置
2A 情報提供装置
21 制御部(画像取得部、スコア算出部、情報提示部)
22 操作部
23 表示部
24 通信I/F
25 記憶部
N 通信ネットワーク
Claims (7)
- 組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供方法であって、
明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得工程と、
前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成工程と、
前記解析スコアを、前記支援情報として提示する情報提示工程と、を備え、
前記スコア作成工程においては、前記組織切片に存在する種々の領域の面積の割合又は比に基づくスコア、種々の構造の有無、種々の構造の密度又は種々の構造の出現数に基づくスコア、各細胞種の数、各細胞種の密度、異なる細胞種の距離又は特定の細胞種と特定の構造の距離に基づくスコアの順に算出し、算出した当該スコアに基づいて前記解析スコアを作成する
情報提供方法。 - 前記画像取得工程において、前記組織切片の全体を撮像可能なバーチャル顕微鏡スライド作成装置で撮像することによって得られた、前記組織切片の全体の明視野画像を取得する
請求項1に記載の情報提供方法。 - 前記スコア作成工程において、前記組織切片に存在する領域、構造及び細胞種の間の局在の関係性に係る情報を取得する
請求項1又は2に記載の情報提供方法。 - 前記組織切片は、蛍光物質を複数集積した蛍光物質集積ナノ粒子に生体物質認識部位を結合した染色試薬を用いて、当該組織切片に存在する特定の生体物質が蛍光観察可能に染色され、
前記画像取得工程において、さらに、前記組織切片のデジタル化された蛍光画像を取得し、
前記スコア作成工程において、さらに、前記蛍光画像から前記特定の生体物質の存在に係る情報を取得し、前記複数種の情報と組み合わせてスコア化した解析スコアを作成する
請求項1から3のいずれか一項に記載の情報提供方法。 - 前記組織切片上の特定の領域に存在する生体物質を、蛍光物質により蛍光観察可能に染色する領域可視化工程を備える
請求項1から4のいずれか一項に記載の情報提供方法。 - 組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置であって、
明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部と、
前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部と、
前記解析スコアを、前記支援情報として提示する情報提示部と、を備え、
前記スコア作成部は、前記組織切片に存在する種々の領域の面積の割合又は比に基づくスコア、種々の構造の有無、種々の構造の密度又は種々の構造の出現数に基づくスコア、各細胞種の数、各細胞種の密度、異なる細胞種の距離又は特定の細胞種と特定の構造の距離に基づくスコアの順に算出し、算出した当該スコアに基づいて前記解析スコアを作成する
情報提供装置。 - 組織切片から得られる情報に基づく判断を支援するための、支援情報を提供する情報提供装置のコンピューターを、
明視野観察可能に染色された組織切片の、デジタル化された明視野画像を取得する画像取得部、
前記明視野画像から複数種の情報を取得し、当該複数種の情報を組み合わせてスコア化した解析スコアを作成するスコア作成部、
前記解析スコアを、前記支援情報として提示する情報提示部、
として機能させるためのプログラムであって、
前記スコア作成部は、前記明視野画像から前記組織切片に存在する種々の領域の面積の割合又は比に基づくスコア、種々の構造の有無、種々の構造の密度又は種々の構造の出現数に基づくスコア、各細胞種の数、各細胞種の密度、異なる細胞種の距離又は特定の細胞種と特定の構造の距離に基づくスコアの順に算出し、算出した当該スコアに基づいて前記解析スコアを作成するプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019025027 | 2019-02-15 | ||
| JP2019025027 | 2019-02-15 | ||
| PCT/JP2020/004478 WO2020166469A1 (ja) | 2019-02-15 | 2020-02-06 | 情報提供方法、情報提供装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020166469A1 JPWO2020166469A1 (ja) | 2021-12-16 |
| JP7593112B2 true JP7593112B2 (ja) | 2024-12-03 |
Family
ID=72045593
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020572199A Active JP7593112B2 (ja) | 2019-02-15 | 2020-02-06 | 情報提供方法、情報提供装置及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US12175660B2 (ja) |
| JP (1) | JP7593112B2 (ja) |
| WO (1) | WO2020166469A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPWO2024014489A1 (ja) * | 2022-07-12 | 2024-01-18 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016006096A1 (ja) | 2014-07-11 | 2016-01-14 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
| JP2016518813A (ja) | 2013-03-15 | 2016-06-30 | ベンタナ メディカル システムズ, インコーポレイテッド | デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム |
| WO2017126420A1 (ja) | 2016-01-19 | 2017-07-27 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| US20200160032A1 (en) | 2018-10-15 | 2020-05-21 | Upmc | Systems and methods for specimen interpretation |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS594745B2 (ja) * | 1976-10-09 | 1984-01-31 | 株式会社東芝 | 細胞診装置 |
| US6272235B1 (en) | 1997-03-03 | 2001-08-07 | Bacus Research Laboratories, Inc. | Method and apparatus for creating a virtual microscope slide |
| JPH10197522A (ja) * | 1997-01-14 | 1998-07-31 | Mitsubishi Electric Corp | 病理組織診断支援装置 |
| GB2398379A (en) * | 2003-02-11 | 2004-08-18 | Qinetiq Ltd | Automated digital image analysis |
| US10809167B2 (en) * | 2010-08-30 | 2020-10-20 | Konica Minolta, Inc. | Tissue staining method with staining agent containing particle holding plural phosphors |
| FR2964744B1 (fr) | 2010-09-10 | 2015-04-03 | Univ Versailles St Quentin En Yvelines | Test pronostic de l'evolution d'une tumeur solide par analyse d'images |
| US20140233826A1 (en) * | 2011-09-27 | 2014-08-21 | Board Of Regents Of The University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
| JP6405319B2 (ja) * | 2012-12-28 | 2018-10-17 | ザ ユニバーシティー オブ メルボルン | 乳癌予知のための画像分析 |
| US9412006B1 (en) * | 2013-02-25 | 2016-08-09 | Flagship Biosciences, Inc. | Continuous tissue analysis scoring scheme based on cell classifications |
| EP3022561B1 (en) | 2013-07-15 | 2019-08-28 | INSERM (Institut National de la Santé et de la Recherche Médicale) | Method for the prognosis of survival time of a patient suffering from a solid cancer |
| JP6605506B2 (ja) * | 2014-02-24 | 2019-11-13 | ヴェンタナ メディカル システムズ, インク. | CD3、CD8、CD20及びFoxP3の同時検出によりがんに対する免疫応答をスコア化するための方法、キット、及びシステム |
| WO2015190225A1 (ja) * | 2014-06-12 | 2015-12-17 | コニカミノルタ株式会社 | 診断支援情報生成方法、画像処理装置、診断支援情報生成システム及び画像処理プログラム |
| AU2015357091A1 (en) * | 2014-12-03 | 2017-04-27 | Ventana Medical Systems, Inc. | Systems and methods for early-stage cancer prognosis |
| WO2016093090A1 (ja) * | 2014-12-09 | 2016-06-16 | コニカミノルタ株式会社 | 画像処理装置及び画像処理プログラム |
| EP3308327A4 (en) * | 2015-06-11 | 2019-01-23 | University of Pittsburgh - Of the Commonwealth System of Higher Education | SYSTEMS AND METHODS FOR FINDING REGIONS OF INTEREST IN HEMATOXYLIN AND EOSIN (H & E) DYED TISSUE IMAGES AND QUANTIFYING INTRATUMORAL CELLULAR HORIZONTAL HETEROGENICITY IN MULTIPLEXED / HYPERPLEXED FLUORESCENT TISSUE IMAGES |
| WO2017221592A1 (ja) * | 2016-06-23 | 2017-12-28 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| US10430943B2 (en) * | 2016-10-07 | 2019-10-01 | Sony Corporation | Automated nuclei area/number estimation for IHC image analysis |
| US10529453B2 (en) * | 2017-07-31 | 2020-01-07 | Definiens Gmbh | Tool that analyzes image data and generates and displays a confidence indicator along with a cancer score |
| CN111448584B (zh) * | 2017-12-05 | 2023-09-26 | 文塔纳医疗系统公司 | 计算肿瘤空间和标记间异质性的方法 |
-
2020
- 2020-02-06 JP JP2020572199A patent/JP7593112B2/ja active Active
- 2020-02-06 WO PCT/JP2020/004478 patent/WO2020166469A1/ja not_active Ceased
- 2020-02-06 US US17/429,246 patent/US12175660B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016518813A (ja) | 2013-03-15 | 2016-06-30 | ベンタナ メディカル システムズ, インコーポレイテッド | デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム |
| WO2016006096A1 (ja) | 2014-07-11 | 2016-01-14 | コニカミノルタ株式会社 | 生体物質定量方法、画像処理装置、病理診断支援システム及びプログラム |
| WO2017126420A1 (ja) | 2016-01-19 | 2017-07-27 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
| US20200160032A1 (en) | 2018-10-15 | 2020-05-21 | Upmc | Systems and methods for specimen interpretation |
Also Published As
| Publication number | Publication date |
|---|---|
| US12175660B2 (en) | 2024-12-24 |
| WO2020166469A1 (ja) | 2020-08-20 |
| JPWO2020166469A1 (ja) | 2021-12-16 |
| US20220138937A1 (en) | 2022-05-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Quantum dots-based immunofluorescence technology for the quantitative determination of HER2 expression in breast cancer | |
| JP5682975B2 (ja) | がん発症又はがん発症リスクの判定方法 | |
| JP5892238B2 (ja) | 医用画像処理装置及びプログラム | |
| JP6074427B2 (ja) | 蛍光画像を用いて明視野画像を生成するためのシステム及び方法 | |
| EP3124969B1 (en) | Biological-material quantitation method based on multiple-antigen immunostaining | |
| WO2013146843A1 (ja) | 医用画像処理装置及びプログラム | |
| JP2022513316A (ja) | Pd-1軸指向型治療薬に対する応答を予測するための方法およびシステム | |
| KR20220100854A (ko) | 인공 지능 기반 세포 분석을 위한 시스템 및 방법 | |
| JP6763407B2 (ja) | 画像処理装置及びプログラム | |
| JP6960224B2 (ja) | 生体物質定量方法、病理診断支援システム及びプログラム | |
| JPWO2018143406A1 (ja) | 画像処理装置及びプログラム | |
| JP7593112B2 (ja) | 情報提供方法、情報提供装置及びプログラム | |
| EP3312606B1 (en) | Pathological specimen, method for producing pathological specimen, and method for acquiring fluorescence image | |
| EP3327427A1 (en) | Target biological substance analysis method and analysis system | |
| JP5863057B2 (ja) | 組織評価方法 | |
| JP6922444B2 (ja) | 蛍光ナノ粒子を用いた、病理学的完全奏効(pCR)の予測を支援するための検査支援方法 | |
| JP7160047B2 (ja) | 生体物質定量方法、画像処理装置及びプログラム | |
| WO2021192910A1 (ja) | 画像生成方法、画像生成装置及びプログラム | |
| US20210318323A1 (en) | Information Acquiring Method, Information Acquiring Device, and Program | |
| WO2021039592A1 (ja) | 創薬支援方法、創薬支援装置及びプログラム | |
| US20230074121A1 (en) | Antibody panel | |
| EP4249889B1 (en) | Methods for analyzing biopsies and biological samples | |
| WO2022059508A1 (ja) | 生体関連情報取得方法及び生体関連情報取得システム | |
| Hertzog et al. | ANTIBODY TITER ASSESSMENT BY IMAGE CYTOMETRY | |
| AU2022203989A1 (en) | Methods for preparing and analyzing biopsies and biological samples |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220927 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240411 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240625 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20241022 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20241104 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7593112 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |