[go: up one dir, main page]

CN115803825A - 与医学诊断和医学诊断系统相关的方法 - Google Patents

与医学诊断和医学诊断系统相关的方法 Download PDF

Info

Publication number
CN115803825A
CN115803825A CN202180048468.6A CN202180048468A CN115803825A CN 115803825 A CN115803825 A CN 115803825A CN 202180048468 A CN202180048468 A CN 202180048468A CN 115803825 A CN115803825 A CN 115803825A
Authority
CN
China
Prior art keywords
digital
diagnostic data
data
image
tissue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180048468.6A
Other languages
English (en)
Inventor
S.H.康奈尔
M.N.H.库克
R.C.安德鲁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Johannesburg
Original Assignee
University of Johannesburg
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Johannesburg filed Critical University of Johannesburg
Publication of CN115803825A publication Critical patent/CN115803825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4258—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector for detecting non x-ray radiation, e.g. gamma radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/441—AI-based methods, deep learning or artificial neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • General Physics & Mathematics (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Pulmonology (AREA)
  • Nuclear Medicine (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及与医学诊断相关的方法和系统。具体地，本发明涉及一种处理来自医学诊断系统的数据的方法，该医学诊断系统包括被配置为探测高能粒子和组织的相互作用的探测器装置。该方法包括：接收与高能粒子和组织的相互作用相关联的诊断数据，其中该诊断数据是由于医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成。该方法还包括用经训练的基于机器的分类器处理所接收的诊断数据，以促进和/或辅助医疗诊断，其中至少用由医学诊断系统的数字孪生生成的数字诊断数据来训练经训练的基于机器的分类器，其中该数字孪生是该医学诊断系统的至少一部分的计算机实现的模拟。

Description

与医学诊断和医学诊断系统相关的方法
技术领域
本发明涉及与医学诊断相关的方法和系统。具体而言，涉及促进和/或辅助对人类或动物进行医学诊断的方法、操作医学诊断系统的方法、处理来自医学诊断系统的数据的方法以及医学诊断系统。
背景技术
某些形式的诊断医学涉及将活组织，例如人体或其部位暴露于辐射，或者在内部通过引入体内的放射性核素/放射性示踪剂，如正电子发射断层成像(PET)，亦或是在外部通过将人体暴露于X射线辐射，如X射线照相术或计算机断层成像(CT)。这些技术使用合适的探测器装置来探测当辐射穿透人体组织或在人体组织中传播时，人体组织(例如，器官组织)与诸如光子和/或电子等高能粒子的相互作用。辐射-组织相互作用是辐射的吸收和/或散射。来自探测器装置的探测到的相互作用的原始数据通常对人类没有意义，因此对其进行处理以生成和/或组合成合适的图像，供接受过关于解释所述图像的训练的医学专业人员检查。由此可见，这些技术被通俗地称为医学成像技术。
由这些成像技术生成的图像的一些众所周知但非详尽的示例是基于一组X射线投影放射照片的二维射线照相X射线图像或三维断层成像数据集，如CT/CAT(计算机辅助断层成像)扫描图像。由前述技术生成的图像的其他示例包括基于PET的三维断层成像数据集。
在CAT扫描的情况下，辐射-组织相互作用是图像形成过程的基础，也是图像质量下降过程的基础。在PET扫描的情况下，放射源是内部的，具有不同的三维浓度分布。本文，成像过程应用于放射源的三维浓度分布的重建。辐射-组织相互作用只会导致图像的质量下降。放射源的发射属性、探测器的效率和下游信号处理也会导致图像质量下降。
因此，很明显，高保真图像重建需要对整个图像形成过程的统计和系统进行相当大幅度的校正。
此外，由于缺少接受过关于解释由前述医学成像技术产生的图像和数据的训练的医学专业人员，因此希望在诊断患者时至少有一些辅助。在疫情期间，这一问题变得更加严重，尤其是在资源和医疗专业人员面临巨大压力的时期，因此需要辅助。
本文描述的本发明寻求解决至少上述问题。然而，对于本领域的技术人员来说，通过本文公开的内容，本文公开的发明所解决的其他问题将是显而易见的。
发明内容
根据本发明的第一方面，提供了一种基于来自医学诊断系统的诊断数据促进和/或辅助对人类或动物进行医疗诊断的方法，其中该方法包括生成医学诊断系统的数字孪生，其中该数字孪生是该医学诊断系统的至少一部分的计算机实现的模拟，并被配置为输出数字诊断数据，该数字诊断数据近似于由于该医学诊断系统中高能粒子和组织相互作用而生成的诊断数据。
根据本发明的第二方面，提供了一种操作医学诊断系统的方法，该医学诊断系统包括至少一个合适的探测器装置，该探测器装置被配置为探测高能粒子和组织的相互作用，其中该方法包括提供医学诊断系统的数字模型，其中该数字模型是医学诊断系统的至少一部分的计算机实现的模拟，并且被配置为输出数字诊断数据，该数字诊断数据近似于由医学诊断系统生成的、由于医学诊断系统中高能粒子和组织相互作用而生成的诊断数据。
根据本发明的第三方面，提供了一种处理来自医学诊断系统的数据的方法，该医学诊断系统包括至少一个合适的探测器装置，该探测器装置被配置为探测高能粒子和组织的相互作用，该方法包括：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中该诊断数据是由于医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
用由医学诊断系统的数字孪生生成的数字诊断数据处理所接收的诊断数据，其中该数字孪生是医学诊断系统的至少一部分的计算机实现的模拟。
根据本发明的第四方面，提供了一种处理来自医学诊断系统的数据的方法，该医学诊断系统包括至少一个合适的探测器装置，该探测器装置被配置为探测高能粒子和组织的相互作用，该方法包括：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中诊断数据是由于医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
用经训练的基于机器的分类器来处理所接收的诊断数据，以促进和/或辅助医疗诊断，其中至少用由医学诊断系统的数字孪生生成的数字诊断数据来训练经训练的基于机器的分类器，其中数字孪生是医学诊断系统的至少一部分的计算机实现的模拟。
根据本发明的第五方面，提供了一种医学诊断系统，其中该医学诊断系统包括：
存储器存储设备；以及
一个或多个处理器，被配置为：
生成真实世界医学诊断系统的数字孪生，该真实世界医学诊断系统包括至少一个合适的探测器装置，其置被配置为探测高能粒子和组织的相互作用，其中数字孪生是真实世界医学诊断系统的至少一部分的计算机实现的模拟，并且被配置为输出数字诊断数据，该数字诊断数据近似于由于真实世界医学诊断系统中高能粒子和组织的相互作用而生成的诊断数据。
根据本发明的第六方面，提供了一种医学诊断系统，其中该医学诊断系统包括：
存储器存储设备；以及
一个或多个处理器，被配置为：
提供真实世界医学诊断系统的数字孪生，该真实世界医学诊断系统包括至少一个合适的探测器装置，其被配置为探测高能粒子和组织的相互作用，其中数字孪生是真实世界医学诊断系统的至少一部分的计算机实现的模拟，并且被配置为输出数字诊断数据，该数字诊断数据近似于由于真实世界医学诊断系统中高能粒子和组织的相互作用而生成的诊断数据。
根据本发明的第七方面，提供了一种医学诊断系统，其中该医学诊断系统包括：
存储器存储设备；以及
一个或多个处理器，被配置为：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中该诊断数据是由于真实世界医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
用由医学诊断系统的数字孪生生成的数字诊断数据处理所接收的诊断数据，其中数字孪生是医学诊断系统的至少一部分的计算机实现的模拟。
根据本发明的第八方面，提供了一种医学诊断系统：
存储器存储设备；以及
一个或多个处理器，被配置为：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中诊断数据是由于医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
用经训练的基于机器的分类器处理所接收的诊断数据，以促进和/或辅助医疗诊断，其中至少用由医学诊断系统的数字孪生生成的数字诊断数据训练该经训练的基于机器的分类器，其中数字孪生是医学诊断系统的至少一部分的计算机实现的模拟。
根据本发明的第九方面，提供了一种存储一组非暂时性计算机可执行指令的非暂时性计算机可读介质，当由一个或多个处理器执行时，一组非暂时性计算机可执行指令使处理器执行本文描述的任何方法。
下面将描述上述本发明不同方面的一些特征。应当理解，下面的特征可以在细节上作必要的修改后应用于上述各个方面。
促进和/或辅助诊断可以包括识别组织中的材料和/或相关区域。基于该识别，可以推断或确定合适的诊断。
应当理解，数字孪生被配置为输出数字诊断数据，数字诊断数据近似于由于真实世界医学诊断系统中高能粒子和组织的相互作用而生成的诊断数据。该组织可以是活组织。
该方法可以包括通过用数字诊断数据来处理接收到的具有数字诊断数据的诊断数据，以改善图像重建。替代地或附加地，该方法可以包括通过用数字诊断数据来训练基于机器的分类器，从而用数字诊断数据处理接收的诊断数据，以促进和/或辅助医疗诊断。类似地，该系统，具体而言是一个或多个处理器，可以被配置为通过用数字诊断数据来处理接收到的具有数字诊断数据的诊断数据，以改善图像重建。替代地或附加地，该一个或多个处理器可以被配置为通过用数字诊断数据来训练基于机器的分类器以促进和/或辅助医疗诊断，来处理接收到的具有数字诊断数据的诊断数据。
该方法可以包括通过用数字诊断数据来处理接收到的具有数字诊断数据的诊断数据，以通过将接收到的诊断数据与数字数据进行比较并修改与图像重建过程或算法相关联的参数来改善图像重建。类似地，一个或多个处理器可以被配置为通过用数字诊断数据来处理接收到的具有数字诊断数据的诊断数据，以通过将接收到的诊断数据与数字数据进行比较并修改与图像重建过程或算法相关联的参数来获得接收到的诊断数据，从而改善图像重建。应当理解，所接收的数字诊断数据可以是重建图像的形式。然而，类似的方法可以用于较低级别的数据抽象。断层成像算法可以是断层成像重建算法。可以是常规算法。
在这点上，该方法可以包括：
a.使用数字孪生来生成数字诊断数据；
b.从所生成的数字诊断数据生成数字图像，其中所生成的图像是通过断层成像算法生成的重建图像；
c.将所生成的数字图像与数字孪生进行比较，从而确定数字图像的准确性；以及
d.基于比较步骤c，改变用于生成步骤b的断层成像算法的参数，以优化断层成像算法。
由此可见，一个或多个处理器可以被配置为：
a.使用数字孪生来生成数字诊断数据；
b.从所生成的数字诊断数据生成数字图像，其中所生成的图像是通过断层成像算法生成的重建图像；
c.将所生成的数字图像与数字孪生进行比较，从而确定数字图像的准确性；以及
d.基于比较步骤c，改变用于生成步骤b的断层成像算法的参数，以优化断层成像算法。
本文的数字孪生可以是例如具有给定大小的肿瘤的患者。
该方法可以包括改变数字孪生的参数以创建多个不同的数字孪生；以及对多个数字孪生中的每一个执行步骤a到d，从而优化断层成像算法。
本领域技术人员将会理解，变化的参数可以取决于用于执行重建的技术。取决于该技术，可以从包括以下各项的组中选择要被改变以优化断层成像算法的参数和/或决策：
-在角度和位置方面用于箱(bin)事件的技术，
-在每个方向和/或角度自由度上使用的箱数
-用于迭代算法的迭代次数，
-对数据应用哪些阈值，
-要应用多少平滑度，
-要考虑哪些批次的事件，
-考虑事件批次的顺序。
此外，数字孪生的参数可以在数值算法级别、物理内容级别和几何/材料级别中的一个或多个级别上变化，以便于如本文所设想的断层成像算法的参数的优化。这些可以是数值算法参数。
由于医学诊断系统中高能粒子和组织的相互作用而生成的数字诊断数据可以近似于诊断数据。诊断数据可以由医学诊断系统生成。例如，诊断数据可以由探测器装置生成。然而，取决于本文所讨论的抽象级别，诊断数据可以被理解为来自探测器装置的原始信号数据和/或根据来自探测器装置的原始信号数据生成的和/或与来自探测器装置的原始信号数据相关联的断层成像。在这点上，可以说诊断数据与来自探测器装置的事件探测相关联。这些事件可以是探测到预定能级的粒子。
在一个示例实施例中，数字孪生可以被配置为模拟被检查的人类或动物组织或部件内的病理。具体而言，数字孪生可以被配置为模拟高能粒子和组织的相互作用，并生成数字诊断数据。数字孪生可以被配置为模拟由医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用。换句话说，数字孪生可以被配置为通过探测器装置模拟高能粒子和组织的相互作用的探测，以生成数字诊断数据。
应当理解，数字孪生可以详细考虑真实世界医学诊断系统的物理过程，甚至微观细节。
数字孪生可以被配置为数字模拟或建模高能粒子源的产生。例如，数字孪生可以被配置为模拟或建模X射线源或射线照片或计算机辅助断层(CAT)扫描或用于PET扫描的正电子发射断层(PET)源。CAT扫描可以是用于图像形成的基于吸收的对比度或基于相位的对比度。如上所述，数字孪生可以被配置为模拟或建模来自组织中的辐射源或与组织相互作用的外部施加的辐射源的辐射。
数字孪生可以被配置为建模或模拟辐射与人类或动物的组织的相互作用，然后建模或模拟辐射与探测器装置的相互作用。这可以基于逐个事件或基于整体。
数字孪生可以详细考虑探测器装置内信号的电子处理，包括能量探测、脉冲时间估计、探测器死区时间、脉冲堆积、信号放大、处理延迟、符合定时、电子噪声的引入、特定电路组件的特征行为等。
出于基于图像分析的诊断或分类的目的，人类或动物的组织的模拟或建模可以包括特定疾病的准确表示。疾病的存在以已知的方式改变组织，并且数字孪生可以被配置为对此进行建模或模拟。数字孪生可以被配置为建模或模拟由特定疾病改变的组织的功能或形式，其中数字孪生被配置为模拟或建模任一种情况。
数字孪生可以被配置为模拟或建模辐射(PET源或施加的)与健康或患病的组织(形式或功能)的相互作用，这取决于所模拟或建模的疾病的形式。因此，数字孪生可以被配置为在最终图像中生成差异，如与正常或患病组织相关的差异。数字孪生可以数字化地构建健康患者和患病患者的多个数字版本，因为它们可以呈现给医学诊断系统。例如，患者的尺寸、性别、年龄、器官的内部结构和位置以及其他特征会有所不同。数字孪生可以被配置为生成本文描述的患者的多个数字版本。数字孪生可以被配置为模拟或建模疾病的不同阶段。
在一些示例实施例中，数字孪生可以被配置为模拟或建模并发病的不同共存医学状况。以这种方式，数字孪生可以被配置为提供用于各种角色的训练数据集。这些可以包括在经由系统算法以及通过机器学习或人工智能算法开发图像的改进重建的作用，并且它还可以用于在图像分类中训练机器学习或人工智能算法，最终基于这些算法对图像分析的应用来训练正确的医学诊断。
数字孪生可以被配置为模拟医学诊断系统中的辐射源。为此，模拟的辐射源可以来自组织内部或外部。
高能粒子可以是光子、电子、正电子等。高能粒子可以与辐射源相关联。辐射源可以是X射线或伽马射线源，或正电子源。成像可以是射线照相术和断层成像中的一种或多种。射线照相术可以是吸收对比或相位对比。在这点上，本发明考虑了所有的情况，其中高能粒子或辐射由源产生，与被研究的材料相互作用，然后被探测器探测，目的是建立被研究的材料的功能或形式的定量图像。
数字孪生可以被配置为模拟从模拟物体发射的光子的衰减和散射。
该组织可以是人和/或动物组织。该组织可以包括器官组织，并且可以包含或不包含位于其中的不期望物质。不期望物质可以是癌细胞、异常组织、死细胞、脓液等。
该方法可以包括以下先前步骤：
接收来自组织的实验诊断数据，实验诊断数据具有其中有或没有不期望物质的组织的病理的指示；
接收与其中是否具有不期望物质的组织的病理的定量和定性方面的一者或两者的相对应的实验诊断数据；以及
使用上述接收到的实验诊断数据中的一者或两者，通过将数字孪生生成的模拟与实验诊断数据进行基准测试，来验证由数字孪生生成的模拟。
该方法可以包括：
用高能粒子或高能射线照射组织；以及
探测由被照射的组织发射的预定能级的粒子，以及基于粒子的探测生成诊断数据。
应当理解，经训练的基于机器的学习分类器可以用于提供或确认诊断或病理。经训练的基于机器的学习分类器的生成可以包括确定分类器的合适架构和权重。数字诊断数据可以通过改变数字孪生的参数并至少捕获与之对应的数字诊断数据来生成。指示数字孪生的变化参数的数据可以在存储器存储设备中与相应的结果数字诊断数据链接。
该方法可以包括使用至少部分数字诊断数据来验证经训练的基于机器的学习分类器的性能。该方法可以包括将经训练的基于机器的学习分类器的权重和架构存储在存储器存储设备中。权重和架构可以存储在本文描述的系统的存储器存储设备中。
基于机器的学习分类器可以是卷积神经网络的形式。然而，应当注意，分类器可以是其他基于机器的学习分类器，例如，本文提到的那些。此外，这些分类器可以是基于监督、弱监督和无监督机器学习的分类器。
诊断数据可以从包括与来自探测器装置的输出信号相关联的高和低数据抽象级别的组中选择，并且其中数字诊断数据与诊断数据匹配。最低的数据抽象级别可以是来自探测器装置的原始输出信号。最高数据抽象级别可以是基于一个或多个中间数据抽象级别的重建的3D图像，该中间数据抽象级别有效地基于来自探测器装置的原始输出信号。在优选的示例实施例中，原始数据可以被半处理，以对其进行概括，从而减少其维数，或者视情况而定。
该方法可以包括从探测器装置接收原始输出信号，并生成一个或多个较高数据抽象级别的数据，用作诊断数据和计算机模拟训练数据。由此可见，一个或多个处理器可以被配置为接收来自探测器装置的原始输出信号，并生成一个或多个较高数据抽象级别的数据用作诊断数据。
该方法可以包括在用经训练的基于机器的学习分类器进行处理之前，预处理所生成的一个或多个较高数据抽象级别的数据，以提高其质量。该方法包括基于较低的数据抽象级别生成重建的3D图像，该数据抽象级别考虑了从被照射对象发射的光子的衰减和散射。类似地，该一个或多个处理器可以被配置为预处理所生成的一个或多个较高数据抽象级别的数据，以在用经训练的基于机器的学习分类器进行处理之前提高其质量。
诊断数据可以是重建的3D图像，其中用经训练的基于机器的学习分类器处理接收的诊断数据可以包括用经训练的基于机器的学习分类器以重叠方式处理3D图像的块。为此，至少一个处理器可以被配置为基于较低的数据抽象级别生成重建的3D图像，该数据抽象级别考虑了从被照射物体发射的光子的衰减和散射。此外，该一个或多个处理器可以被配置为用经训练的基于机器的学习分类器以重叠的方式处理3D图像的块。
本领域技术人员将理解，数字诊断数据可以反映本文描述的诊断数据。因此，可以从包括来自医学诊断系统的探测器装置的模拟原始输出数据、来自医学诊断系统的模拟图像和来自医学诊断系统的模拟重建图像的组中选择数字诊断数据。
该系统可以包括真实世界医学诊断系统或者可以是真实世界医学诊断系统的一部分。
在一个示例实施例中，用数字诊断数据处理接收的诊断数据的步骤可以包括通过将接收的诊断数据和/或数字诊断数据相互比较来评估。
该方法可以包括通过考虑导致图像恶化的系统过程和/或效应来改善图像。系统过程可以是来自包括衰减、散射、系统噪声、探测器装置性能的低效率的空间变化、视差和探测器装置性能的其他系统效应的组中的一个或多个。传统来说，这些系统过程和/或影响导致重建图像不准确。
对此有各种治疗方法，这些程序可以通过将这些治疗方法应用于由数字孪生生成的数字诊断数据来改进。这是因为其提供了生成可以测试这些程序的合成数据集的机会。例如，可以生成具有一系列统计显著性和噪声相关伪像的图像，并且可以改变材料和设置，从而为诸如衰减和散射之类的系统效应的治疗提供测试案例。
具有来自数字孪生的数据，其中可以了解辐射的确切来源，首先使得能够对重建算法参数进行琢磨：例如，可以采用全局优化算法，例如遗传算法或模拟退火算法，其探索由重建算法中的可能参数创建的景观，并且在景观中找到最佳点，在该点处重建图像最接近地匹配数字孪生。然后，将有信心，如果在算法中使用相同的参数来重建临床设置中的患者，则得到的图像将尽可能接近实际患者的生理情况。
此外，如果这些过程产生了相似的特征伪像，那么神经网络可以学习识别这些伪像，并将其从图像中移除。例如，在PET环境中，衰减导致受检者体内深处区域内的信号被抑制，因为用于PET成像的输出511keV光子更有可能在到达探测器之前被吸收。同样，外围区域内的信号也被放大了。对于具有不同材料和密度的复杂形状，很难创建一种算法来纠正这一点，但如果给定一个正确图像类型的大型数据集来与含有伪像的图像进行比较，神经网络将能够学习移除伪像。
该方法可以包括用数字诊断数据处理接收到的数字诊断数据，以利用确定性或迭代技术改善图像重建。这是因为在已知事实(truth)的数字孪生上测试算法，并且可以评估模型的性能。具体的示例是测试射线通过组织时吸收和散射的系统效应的治疗。实际上，这可以包括将来自数字孪生的模拟“事实”与重建图像进行比较的步骤，以评估重建性能并如本文所述调谐超参数。此外，可以优化迭代重建。这可能类似于确定性重建，但是其中使用了迭代重建技术，例如最大似然期望最大化(MLEM)或有序子集期望最大化(OSEM)或类似技术。
该方法可以包括用数字诊断数据处理接收到的数字诊断数据，以利用机器学习或人工智能技术改善图像重建。这是因为在已知事实的数字孪生上测试算法，并且可以评估模型的性能。其可能涉及后期图像处理算法。可以重建模拟的大数据集，然后生成神经网络可以被配置为将重建的图像作为输入，并输出改变后的图像，以最小化重建的图像和由数字模拟确定的事实之间的差异的方式进行优化。
如本文所述，但以不同方式陈述，可能存在许多不同的图像重建技术。每种技术通常可以具有许多可以调整的参数，这些参数影响最终的图像。传统来说，很难评估这些技术的性能。定量评估依赖于在理想情况下非常简单的物体重建的保真度。对来自真实世界情况的图像的评估是主观的。因此，不可能明确地区分任何给定特征是否是被成像对象的真实特征、成像伪像、噪声等，以及添加或移除特征是提高还是降低了图像保真度。
同样如本文所述但以不同方式陈述的，本文公开的数字孪生可以再现真实世界的成像场景，包括患者和环境特征、辐射与物质的物理相互作用。在这点上，电子处理和图像重建可以提供定量和客观地评估图像重建算法的性能的可能性。它还将使自动算法能够跨越给定重建算法的参数空间，使得能够找到一组优化的参数。它还增加了在图像重建中结合机器学习算法的范围。这些传统上受限于学习模式中缺乏“事实”信息。然而，利用本文公开的数字孪生，真实的图像特征是已知的。
此外，如本文提到的，本文描述的方法可以包括开发基于机器学习和人工智能的算法。这既适用于使用分类或特征识别的监督学习，也适用于寻找潜在图像模式或特征分组的非监督学习。具体而言，该方法可以包括使用数字孪生来生成原始图像数据和附加标签集(事实数据)。如上所述，该方法可以包括将模拟或建模病理作为数字孪生的一部分，然后训练神经网络或其他合适的机器学习模型来识别重建图像中的病理。
如上所述，但在本文中有不同的表述，数字孪生可用于训练机器学习和人工智能算法以改善重建图像。在这个用例中，一套数字诊断数据由数字孪生生成。数字诊断数据的变化根据患者类型(性别、体型、身体特征)、患者方位、周围环境、辐射剂量等而变化，目的是使数字孪生生成的数字诊断数据尽可能代表真实的扫描情况。
在这点上，将会理解，数字孪生可以包括多个不同的数字孪生，其中这些数字孪生中的每一个随后被用于创建一个或多个数字诊断数据集。这些数字诊断数据集可以是探测器装置读数的数字模拟或建模集，并且这些数据集可以被重建以创建一套3D断层成像图像。然后，生成神经网络将这些图像中的每一个作为其输入，并创建改变的图像作为输出。根据与原始“事实”信息(即数字孪生的确切已知物理特征)的不同程度来评估每个输出。然后神经网络迭代地训练其参数，以最小化重建图像和事实图像之间的差异。可以想象所得到的图像的改进之处包括：
1.噪声降低
2.典型组织类型、特征和器官的识别和改进的重建
3.减少由所选图像重建方法引入的任何系统性图像伪像
4.减少由辐射与物质的物理相互作用生成的图像伪像，例如散射、PET光子的非共线性、光子衰减等。
总之，就数字孪生而言，患者的数字孪生可以准确地建模或模拟具有准确组织组成和内部结构的患者，用于具有和不具有病理的一系列身体类型，包括孤立或并发病病例。诊断系统的数字孪生可以与患者的数字孪生集成，以创建高质量的图像。
附图说明
图1示出了根据本发明的示例实施例的系统的高级框图；
图2总体示出了根据本发明的示例实施例的医学诊断和/或成像系统的示意图，其结合了图1的系统，其中：
图2(a)包括正电子发射断层成像(PET)系统/组件，其中图2的医学诊断系统被配置为执行PET扫描；以及
图2(b)包括计算机辅助断层成像(CAT)系统/组件，其中图2的医学诊断系统被配置为执行CAT扫描；
图3示出了使用中的图2的医学诊断系统的探测器装置中的人类受检者的图示；
图4示出了根据本发明的示例实施例的诊断数据的各种抽象级别的框图；
图5示出了根据本发明的示例实施例的用于生成计算机实现的数字孪生的方法的高级流程图；
图6示出了根据本发明的示例实施例的改进断层成像图像的方法的流程图；
图7示出了根据本发明的示例实施例的用于训练基于机器的学习分类器的方法的另一个高级框图；
图8示出了根据本发明示例实施例的用于促进和/或辅助诊断患者的方法的流程框图；以及
图9示出了计算机系统的示例形式的机器的图示，在该计算机系统中可以执行用于使机器执行本文讨论的任何一种或多种方法的一组指令。
具体实施方式
提供本发明的以下描述作为本发明的实现教导。相关领域的技术人员将认识到，可以对所描述的实施例进行许多改变，同时仍然获得本发明的有益结果。同样显而易见的是，通过选择本发明的一些特征而不使用其他特征，可以获得本发明的一些期望的益处。因此，本领域技术人员将认识到，对本发明的修改和调整是可能的，并且在某些情况下甚至可能是期望的，并且是本发明的一部分。因此，提供以下描述作为本发明原理的说明，而不是对其的限制。
应当理解，短语“例如”、“诸如”及其变体描述了当前公开的主题的非限制性实施例。说明书中对“一个示例实施例”、“另一个示例实施例”、“一些示例实施例”或其变体的引用意味着结合实施例描述的特定特征、结构或特性包括在当前公开的主题的至少一个实施例中。因此，短语“一个示例实施例”、“另一个示例实施例”、“一些示例实施例”或其变体的使用不一定指相同的实施例。
除非另有说明，否则为了清楚起见，在单独实施例的上下文中描述的本文所述主题的一些特征也可以在单个实施例中组合提供。类似地，在单个实施例的上下文中描述的本文公开的主题的各种特征也可以单独提供或以任何合适的子组合提供。
本文使用的标题仅用于组织目的，并不意味着用于限制说明书或权利要求的范围。为简洁起见，“可以”一词是在许可的意义上使用的(即，意味着“有可能”)，而不是在强制的意义上使用的(即，意味着“必须”)。
词语“包括”和“包含”分别表示包括和包含，但不限于此。
此外，术语“人”可以理解为包括人的一部分，包括内部部分，诸如器官，包括与其相关的组织。
如本文所设想的，促进和/或辅助诊断疾病可包括探测组织中的不期望物质、探测受损组织等。
参考附图中的图1和图2，根据本发明示例实施例的系统通常由附图标记10表示。系统10通常是被配置为部署在医学诊断应用中的计算机系统，该医学诊断应用尤其包括改进医学成像应用中的图像重建，以及促进和/或辅助诊断诸如疾病等医学状况。因此，系统10可以是医学诊断系统10。
系统10可以是独立的系统，其被配置为简单地从与合适的医学诊断和/或成像系统14相关联的探测器装置12接收诊断数据，并生成如本文所设想的输出。相反，系统10通常形成医学诊断和/或成像系统14的一部分，简称为医学成像系统14，以便于诊断医学状况。
医学成像系统14通常是用于对人类或动物或其一部分进行成像的常规医学成像系统，以根据所采取的成像类型，使用常规迭代图像重建算法和技术来生成或换言之重建合适的图像。系统14通常可以是诊断和/或成像系统14，其被配置为对来自辐射源的高能粒子(诸如光子、电子或正电子)和人类或动物的组织的相互作用进行成像或处理，以便于诊断人类或动物或其一部分的病理。
如图2(a)所示，系统14可以包括正电子发射断层成像(PET)组件或系统20。因此，迭代重建算法和技术可以是常规算法和技术，诸如最大似然期望最大化(MLEM)、有序子集期望最大化(OSEM)等。
替代地或附加地，如图2(b)所示，系统14可以包括传统的X射线扫描或计算机辅助断层成像(CAT)扫描组件或系统21。
系统14通常包括上述常规诊断和/或成像系统的所有组件(示出或未示出)，并且这些常规组件的低级细节将不再进一步讨论。
尽管如此，系统14可以包括探测器装置12，其被配置为探测辐射与被成像的人18或动物的组织的相互作用。辐射源S可以根据系统14实施的成像技术而变化。
对于由图2(b)所示的CAT扫描组件或系统21促进的CAT扫描，辐射源S可以在被成像的人18的外部，并且可以是施加到人18的辐射，其中探测器装置12探测辐射与人18的相互作用。类似地，例如，对于由图2(a)所示的PET系统20促进的PET扫描，辐射源S可以位于人18的内部，并且从人18的身体发射，其中当辐射从人18辐射时，探测器装置12探测辐射与人18的相互作用。具体而言，在PET系统20中，探测器装置12被配置为以传统方式探测从人18发射的PET光子。为了便于解释，本文对不同系统20、21的引用可以通过使用术语“PET”和“CAT”来表示。
为了便于解释，除非另有说明，将主要参考应用于PET医学成像系统20的系统10、14。然而，应该理解的是，本领域技术人员可以理解，在此包含的关于PET医学成像系统20的教导可以加以必要的修正而扩展到其他成像系统，例如，X射线扫描和本文提到的CAT扫描。尽管如此，在适用的情况下，可以参考其他申请。
系统14通常包括可移动的或静止的平台11，人18可以在其中休息。探测器装置12可以是合适的隧道形式的常规PET探测器装置，其具有一个或多个被配置为探测从人18发射的PET光子的探测器。
对于CAT扫描或X射线，探测器装置12可以是类似的，但是可以被提供为弓形或平面装置，其被配置为以装置12和源S像三明治的一样位于人18的侧面的方式可操作地面向人18和源S，如图2(b)所示。
在一个非限制性示例实施例中，如图3所示，探测器装置12可以包括一对探测器阵列12.1和12.2，它们相对于人18和/或平台11以相对的方式提供。阵列12.1、12.2具有基本上横跨人18的身体长度的感测轴。在示例实施例中，其中装置12包裹或包围患者18(如图2(a)所示)，阵列12.1、12.2可以适当地被提供为一对半圆形阵列，这一对阵列之间的感测轴穿过外壳的体积，横跨患者18和/或平台11的长度。如上所述，探测器装置12包括适于探测PET光子的探测器。在这方面，装置12的探测器可以是具有合适电子器件(未示出)的闪烁体晶体和光电倍增管(PMT)探测器的形式。
系统14还包括合适的输出模块22，该输出模块22是合适的显示装置的形式，例如合适的屏幕或监视器，被配置为显示以本文描述的方式生成的图像。替代地或附加地，输出模块22可以包括用于打印生成的图像和/或任何其他相关信息的合适的打印机。替代地或附加地，输出模块22可以包括合适的通信模块来传输以本文描述的方式生成的图像。模块22可以是输入/输出模块，并且同样可以便于诸如医疗专业人员的用户与系统14交互。
本文所述的系统10通信耦合到探测器装置12和输出模块22，以从探测器装置12接收诊断数据，并向模块22生成合适的输出信号。
系统10可以以硬连线方式或无线方式耦合到装置12和/或模块22。在一个示例实施例中，系统10经由通信网络通信地耦合到装置12，该通信网络可以包括一个或多个不同类型的通信网络。在这点上，通信网络可以是互联网、局域网(LAN)、广域网(WAN)、城域网(MAN)、各种类型的电话网络(例如，具有数字用户线(DSL)技术的公共交换电话网(PSTN))或移动网络(例如，全球移动系统(GSM)通信、通用分组无线业务(GPRS)、码分多址(CDMA)和其他合适的移动电信网络技术)中的一个或多个，或者它们的任意组合。因此，尽管可能不一定实用，但是可以设想，在一些示例实施例中，系统10不需要位于成像系统14的位置。
在任何情况下，系统10可以包括存储器存储设备28和处理器30，处理器30被配置为执行本文描述的各种数据处理步骤。处理器30可以是可编程处理器形式的一个或多个处理器，其执行一个或多个计算机程序，以通过对输入数据进行操作并生成输出来执行动作。处理器30以及本文提到的任何计算设备可以是具有数据处理能力的任何种类的电子设备，作为非限制性示例，包括通用处理器、图形处理单元(GPU)、数字信号处理器(DSP)、微控制器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、或者包括任何种类的一个或多个处理器的任何其他电子计算设备、或者它们的任何组合。为简洁起见，被描述为由系统10执行的任何功能可以是由处理器30有效执行的功能，反之亦然，除非另有说明。
存储器存储设备28可以是计算机可读介质的形式，包括系统存储器并包括随机存取存储器(RAM)设备、高速缓冲存储器、非易失性或备份存储器，诸如可编程或闪存、只读存储器(ROM)等。此外，设备28可以被认为包括物理上位于系统10中其他地方的存储器，例如处理器30中的任何高速缓冲存储器以及用作虚拟存储器的任何存储容量，例如存储在大容量存储设备上的存储容量。
尽管未示出，但是应当理解，系统10可以包括一个或多个用户输入设备(例如，键盘、鼠标、成像设备、扫描仪、麦克风)和一个或多个输出设备(例如，液晶显示(LCD)面板、声音回放设备(扬声器)、开关、阀门等)。这些可以形成输出模块22的一部分或者可以与输出模块22分离。
可由处理器30执行的计算机程序可以以任何形式的编程语言编写，包括编译或解释语言、声明或过程语言，并且可以以任何形式部署，包括作为独立程序或作为模块、组件、子例程、对象或适于在计算环境中使用的其他单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以存储在保存其他程序或数据的文件的一部分中(例如，存储在标记语言文档中的一个或多个脚本)，存储在专用于所讨论的程序的单个文件中，或者存储在多个协作文件中(例如，存储一个或多个模块、子程序或代码部分的文件)。计算机程序可以被部署为由一个处理器30或多个处理器30执行，甚至是那些分布在多个位置的处理器。
计算机程序可以存储在存储器28或处理器30中提供的存储器中。尽管本文没有示出或讨论，但是本发明领域的技术人员将会理解，系统10可以包括多个逻辑组件、电子器件、驱动电路、外围设备等。为简洁起见，本文不再描述。
处理器30被配置/编程为以一个或多个数据抽象级别从诊断数据源接收诊断数据，如下所述。此外，更重要的是，系统10，具体而言是处理器30被配置为促进和/或支持如本文所述的患者18的诊断。替代地或附加地，系统20，具体而言是处理器30还被配置为以如本文所述的传统方式改善由成像系统14生成的重建图像的质量。
由处理器30接收的诊断数据通常与由装置12探测到的光子相关联，这些光子是由于人18的体内的正电子湮灭而从对象发射的。具体而言，当人18的体内的PET同位素通过β衰变(beta-decay)释放正电子粒子时，正电子在经过可能涉及多次散射事件的短路径后与附近的电子湮灭。这种湮灭最常见的结果是产生几乎共线的背靠背(co-linear back-to-back)511keV伽马射线光子。这些共线的背靠背511keV伽马射线光子被探测器装置12探测到。然后每个光子穿过周围的组织，有时会改变能量和方向。当光子到达位于S2、S1的探测器装置阵列12.1、12.2时，装置12以探测器撞击事件数据的形式输出诊断数据，例如，其包括指示阵列12.1、12.2上碰撞位置和光子能量的数据。
如上所述，并参考附图中的图4，本文描述的术语“诊断数据”可以被认为包括与探测器装置12响应于入射到其上/由此探测到的相关的光子的输出相关联的任何数据。术语“数字诊断数据”可以基本上类似于诊断数据，尽管是由本文设想的数字孪生进行模拟的，因此关于数字数据的注释可以扩展到数字诊断数据。由此可见，可以从如图4所示的一组不同级别的数据抽象23.1.23.5中选择诊断数据，其中每个级别23.1...23.5与由装置12探测到的光子相关联。诊断数据可以从包括指示探测器装置12上的伽马射线撞击/命中事件的数据23.1、响应线(LoR)23.2、4D投影23.3、3D图像23.4和从图像中提取的图像特征23.5的组中选择。应该理解，4D投影基本上是4D数据，是2D投影的2D集。
如上所述，处理器30可以被配置为从探测器装置12接收本文描述的任何类型的诊断数据，包括：来自装置12的原始信号数据形式的诊断数据，其中装置12是诊断数据源，以及来自如图4中描述的一个或多个预处理系统和/或计算设备的高级数据抽象级诊断数据。为此，尽管处理器30在图1和图2中被示出为直接耦合到探测器装置12，但是并不排除处理器30简单地从预处理系统和/或计算设备等形式的合适的诊断数据源接收探测器装置12的输出，该输出指示在图4中描述的任何数据抽象级别中探测到的光子。在优选的示例实施例中，诊断数据和相关联的数字诊断数据是与由探测器装置12探测到和/或入射到其上的光子相关联的4D投影23.3、3D图像23.4和图像特征23.5中的一个或多个的形式。
以下关于各种数据抽象级别的诊断数据的描述不必限于由处理器30完成的解释，因为处理器30可以以下述方式生成诊断数据，或者可以简单地从合适的数据源接收诊断数据作为输入数据，视情况而定，以执行本文所设想的诊断。
再次参考图3，在诊断数据是响应线(LoR)的形式的情况下，探测器阵列12.1、12.2上的撞击事件限定了响应线(LoR)，该响应线是连接两个撞击位置S1和S2的线。应当理解，尽管本文的LoR可能专用于包括如图2(a)所示的PET成像系统20的系统14。当系统14包括如图2(b)所示的CAT扫描或X射线系统21时，从源S到探测器装置12的射线或线或直线路径可以是示例实施例中的相关等同物。这样，就像在PET中有LoR一样，在CAT扫描/X射线中将有相似的重建射线。
然后，就像在PET中2D投影的2D集等同于4D数据集一样，在一般最复杂的CAT情况下也是如此。此外，就像在PET中一样，这些可以被简化为3D图像，这同样适用于CAT。在这两种情况下，可以在想要的地方提取2D切片，并且在这两种情况下，可以获得元数据，该元数据仅仅是描述从图像中提取的特征的几个参数。
在由处理器30接收的诊断数据是来自如上所述的4D集合的许多2D投影的形式的情况下，LoR被分组为具有相同空间方向(给定的两个球面坐标角(θ分组)的集合)的族。对于每个族，LoR与位于探测器阵列12.1、12.2中间的2D平面的交点形成2D投影。所描述类型的所有2D投影构成一个单一的4D正弦图。多个LoR可以用于创建反投影。
然而，未滤波的反投影可能不是使用的诊断数据的最佳形式，因为它遭受了失真，其中每个体素(voxel)被有效地与距离的近似平方反比函数进行了卷积。因此，最好重建原始的源点密度分布。为此，在诊断数据是3D图像形式的情况下，采用迭代3D断层成像，该迭代3D断层成像利用最大似然估计方法(MLEM)算法或任何其他迭代重建算法，来使用一组2D投影(正弦图)重建源点密度分布的图像。
根据将本文描述的正弦图处理成PET重建图像所创建的3D图像应该理想地反映原始PET同位素源点密度分布。在这方面，有两种影响非常重要。这是两个背靠背共线且共入射的511keV光子在穿过人18的组织时的衰减和散射。这种效应意味着通常只有3％的光子可用于LoR构建过程。衰减的光子丢失，散射光子导致错误的LoR重建。效应的大小取决于PET同位素的局部几何形状。
当LoR在身体18中的路径长度达到均值时，该效应更强。使用一种算法来处理PET图像重建中的衰减和散射效应，使得衰减和散射的系统效应不会导致PET同位素源点的实际分布与所描述的重建分布之间的不匹配。
系统10有利地可以被配置为利用合适的基于机器学习的分类器来处理从系统14(具体而言是探测器装置12)接收的诊断数据，以促进和/或辅助对由系统14操作的人18的诊断。这里上下文中的“操作”可以是由系统14的装置12探测的人18的辐射-组织相互作用。基于机器学习的分类器通常用由系统14的合适的数字孪生生成的数字诊断数据来训练。
为此，系统10，具体而言是处理器30可以被配置为生成和/或实现系统14的数字孪生。然而，数字孪生可以由其他处理系统(未示出)来实现，但是处理器30以本文所设想的方式来使用所产生的数字数据。
在任何情况下，将会理解，数字孪生是计算机实现的模拟/数字孪生，其在医学成像过程中模拟系统14、人18以及系统14和人18之间的交互，并且能够改变生成数字诊断数据的系统14的参数。数字诊断数据可以是来自数字孪生的人工生成的数据。
应当理解，在优选的示例实施例中，数字孪生基于真实世界系统14的基于计算机或计算机实现的建模或模拟，来自辐射源(在PET成像的情况下来自人18的身体，或者在CAT扫描的情况下来自外部)，由探测器装置12探测，一直到建模或模拟具有或不具有疾病病理状态(在疾病的各个阶段)的各种患者的范围，以及诊断数据的生成(其可以是原始探测器数据或如本文所设想的更高的抽象级别)。
本文所指的建模或模拟使用该过程的足够准确的物理和工程描述。在一些示例实施例中，然后用实验数据和/或真实世界数据对数字诊断数据进行基准测试(benchmark)。
在一个示例实施例中，数字孪生的生成和/或实现，即数字孪生的基于计算机或计算机实现的建模或模拟可以通过至少软件来实现，该软件用于对亚原子粒子过程和各种粒子探测器几何形状进行建模，称为Geant4，其被包括欧洲核研究组织(CERN)的大型强子对撞机的各种研究小组使用。这是一个C++工具包，研究人员使用它来模拟粒子历史和用于研究这些历史的探测器阵列的行为。
在非常相似的条件下，在实验或实验数据中非常仔细地对计算机模拟性能在真实情况下的准确性进行基准测试。其优点在于，与训练数据的完整实验结果相比，需要进行的实验要少得多。
在一个示例实施例中，数字孪生基于以小实验数据集为基准的蒙特卡罗(MonteCarlo)技术。如上所述，在模拟过程中，使用了PET的全部物理特性，从通过具有巨偶极共振(GDR)能量的光子束初始激活材料中的PET活性，到在探测器装置12中记录初级信号。在一些示例实施例中，建模或模拟可以包括对患者18或患者18中的示踪剂(如糖)的直接PET激活进行建模或模拟。在一些示例实施例中，通过将患者18暴露于来自辐射源的激活辐射来“激活”患者18，该辐射源被配置为“激活”患者，从而以本文设想的方式探测合适的PET同位素。这将使得能够获得更广泛的具有更短寿命的同位素和其他同位素(碳、氮和氧)，从而获得更广泛的组织、形式、功能，以及动力学的时间尺度。
探测器撞击导致响应线(LoR)的构建，如上面参考图3所述。可以将反向投影组合成来自LoR的3D图像。LoR也可以被装入4D正弦图中，作为一组角度(θ弦φ)的一组横向(x,y)投影。通过如本文所述的本领域已知的各种技术，可以将正弦图转换成PET重建，作为源点的定量3D图像，其找到最可能的原始3D源点密度。
利用由数字孪生生成的数字诊断数据，知道事实，这意味着，知道被模拟的系统14、被模拟的人、被模拟的组织(包括或排除其中不期望物质，诸如癌细胞、脓液、受损组织等)的全部细节，系统14中被模拟的组织和辐射之间的相互作用，以及来自探测器装置12的数据形式的被模拟的数字诊断数据。因此，由数字孪生生成的数字诊断数据可以用于改进如本文所述的图像重建，并促进和/或辅助诊断疾病。
具体而言，处理器30可以使用数字孪生，特别是由此生成的数字诊断数据，来利用确定性或迭代技术改善图像重建。这是因为在已知事实的数字孪生上测试算法，并且可以评估模型的性能。具体的示例是测试射线在其通过组织时吸收和散射的系统效应的治疗。实际上，这包括模拟“事实”与重建图像的比较，以评估重建性能和调谐超参数。此外，可以优化迭代重建。这类似于确定性重建，但是使用了迭代重建技术，诸如最大似然期望最大化(MLEM)或有序子集期望最大化(OSEM)或类似技术。
处理器30可以使用数字孪生，特别是由此生成的数字诊断数据，来利用机器学习或人工智能技术改善图像重建。这是因为在已知事实的数字孪生上测试算法，并且可以评估模型的性能。它可以涉及后期图像处理算法。以这种方式重建大型模拟数据集。然后，生成神经网络可以将重建的图像作为输入，并输出改变的图像，以最小化重建图像和事实之间的差异的方式进行优化。
最后，数字孪生，特别是由此生成的数字诊断数据，可以被处理器30用来开发基于机器学习和人工智能的算法。这既适用于使用分类或特征识别的监督学习，也适用于寻找潜在图像模式或特征分组的非监督学习。将使用数字孪生来提供原始图像数据和附加的标签集(事实数据)。一个重要的目标是病理识别：模拟病理作为数字孪生的一部分，然后训练神经网络在重建图像中看到这些病理。
在这点上，在一个示例实施例中，由数字孪生生成的数字诊断数据可以被分割成训练和验证数据集，如下所述。原则上，模拟的数字诊断数据集可以很大，因为可以使用高性能计算技术离线生成它。数据集可以通过选定的实验来验证，以在探索系统14的整个参数空间的多个点上对计算机模拟进行基准测试。关键是，与仅通过实验完成全部训练和验证数据集相比，需要的实验(或临床医生干预以事实标记图像)要少得多。这是本文描述的本发明的一个重要方面，因为具有非常大的数据集非常重要，其中事实是已知的，其可以被分成训练和验证数据集。
总之，计算机模拟的数字诊断数据是通过改变系统14的数字孪生的前述参数并获得合适的数字诊断数据而获得的。利用数字孪生的不同参数生成的数字诊断数据为系统10提供了稳健的训练和验证数据集，这因此优化了本文描述的分类器的性能，这使得能够在系统14中进行更可靠的诊断。
本领域技术人员将会理解，在使用中，从数字孪生获得并在本文描述的数字诊断数据，以及由处理器30接收的诊断数据，可以在加以必要的修正后对应于参考图4在本文设想的任何数据抽象级别。
在任何情况下，如上所述，处理器30通常被配置为实现和/或使用如本文所述的经训练的基于机器的学习分类器，以便能够促进和/或辅助基于从系统14(特别是探测器装置12)接收的诊断数据的诊断。至少用来自数字孪生的数字诊断数据训练分类器。
这样，系统10解决了为了训练根据本发明的分类器而需要真实世界诊断数据的大数据集的问题。如果不是因为训练数据是数字生成的，那么为该训练实验性地获取大量诊断数据实际上是不可行的，尤其是在有事实的先验知识的情况下。
此外，用于分类器的训练诊断数据需要代表人18的属性、疾病病理等多种情况，其将在参数空间中变化。
至于改变探测器装置12的参数，数字孪生可以被配置为改变与探测极限、询问功率、传感器在阈值方面的配置、阵列类型和几何形状、电子处理能力、对各种材料的灵敏度或来自这些材料的辐射等相关的参数。
收集的信息的统计量是另一个参数，涉及系统14的功率等。因此，训练数据通常包含非常大量的元素。因此，手动创建数据集通常效率不高。
该分类器可以方便地是任何人工智能(AI)分类器。因此，术语“分类器”在本文可以与“AI”互换使用。
分类器可以从包括决策树分类器(Decision Tree Classifier)、随机森林分类器(Random Forest Classifier)、Ada Boost分类器、K-最近邻分类器、支持向量机、二次判别分析(Quadratic Discriminant Analysis)、高斯过程分类器(Gaussian ProcessClassifier)、多层感知器分类器(Multi-layer Perceptron Classifier)，优选卷积神经网络(Convolutional Neural Network)的组中选择。尽管如此，将会注意到，在本发明中可以使用其他机器学习分类器。
应当注意，分类器的训练可以是为了获得分类器的初始权重和架构，而验证可以是为了确认训练的准确性和/或重新配置/调谐分类器的架构和/或权重。
尽管上述类型的许多类型的分类器可以用于对本发明进行分类的目的，但是本发明优选地利用多层感知器(MLP)分类器，特别是基于卷积神经网络(CNN)的分类器，因为其他分类器在实验期间还没有达到与优选分类器相同的性能水平。
在一个示例实施例中，具有一个隐藏层和大约五个感知器的MLP分类器可以用如上所述的图像特征形式的诊断数据来训练。
在优选示例实施例中，分类器是卷积神经网络(CNN)形式的用于图像对象识别的深度学习网络。CNN分类器使用各种卷积层以及其他复杂的感知器层(诸如池化层)来学习如何识别图像特征，诸如边缘、亮点、图像均匀度等。在一个示例实施例中，CNN分类器用于促进和/或辅助以重建图像形式接收的诊断数据内的诊断。CNN分类器学习无疾病组织和各种类型的疾病组织的图像，以便执行准确的分类。
应当注意，CNN分类器是优选的，因为它接受低数据抽象输入(图像和可能的其他输入，诸如LoR和投影)，而其他分类器对非常高的数据抽象进行操作，这可能丢失较低级别中存在的重要诊断数据信息。
此外，与其他方法相比，CNN分类器可以自我发现要使用的模式匹配和图像特征。通过这种方式，更复杂的AI可以在更高的抽象级别上发现原始数据的表示。这可以在深度上发生，意味着它可以在几个层上进行这种表示发现。这些新的表示法有望提取出对复杂的决策方面敏感的数据的基本特征。
此外，CNN的优势在于，一旦它被训练并且模型(重量和结构)被保存到文件中，它可以被重新调用以用于实验或更多验证数据。诸如K-最近邻的分类器需要将整个训练数据集存储在RAM中，以便可以用于分类。
CNN分类器被训练来分析组织中感兴趣的材料周围的区域，而不仅仅是材料本身。以这种方式，经训练的CNN分类器能够分析在其背景的环境中识别的材料。
对于3D图像，分类器识别3D中的潜在疾病(而人类能够在2D图像上识别)，并且在LoR情况下，分类器可以在4D中识别。在这点上，本发明能够以除了数据的人工检查之外的方式促进和/或辅助疾病的诊断。
在一个示例实施例中，CNN分类器被配置为内部学习图像衰减和其他光子效应，以创建用于如上所述分类的更准确的改进图像。改进的成像将在CNN分类器内，因此在输入和输出方面：传感器数据->初始成像->CNN(进行内部衰减/散射校正以创建内部高质量图像)->分类。
代替使用高度抽象的重建图像数据，可以使用具有较低抽象的输入数据来训练CNN，从使用原始LoR数据到仅使用4D正弦图。
现在参考附图的图5至图8，其中根据本发明的示例实施例的方法的流程图通常分别由附图标记40、32、50、60表示。在非限制性示例中，示例方法40、50、32、60可以被描述为与图1和图2中描述的类型的系统一起使用，但是不排除方法40、32、50、60用于未示出的其他系统。尽管如此，系统10的特征可以基于图5至图8的讨论来举例说明，因为这些步骤的大部分在使用中由处理器30执行。
参考附图的图5，其中示出了方法40的流程图。方法40通常需要生成计算机实现的模拟器或模型，换句话说，如前所述类型的系统14的数字模型。应当理解，数字孪生的生成可以以离线方式实现，并且通常作为先前过程。与真实世界数据比较的数字孪生的迭代开发服务于开发的连续循环、验证和与真实世界数据交叉检查的数字孪生的性能的基准测试。
方法40使用Geant4软件以及如上所述的蒙特卡罗技术生成模拟器或模型，以模拟或提供与如前所述的系统14中的辐射和组织的相互作用相关联的探测背后的物理的模拟模型。
模拟器的生成可能需要对与系统14、患者/人18、组织中的疾病传播等相关联的各种物理参数进行计算机实现的模拟/建模。在一个示例实施例中，还模拟了如前所述的辐射与人体组织和伽马射线相互作用的结果，即探测器装置12的响应。
然后方法40包括在框42获得实验数据，这可以通过获得医疗训练数据和/或通过使人18实际经受上述类型的伽马射线来执行实验。相反，这些数据可能来自历史数据源。
然后，方法40包括在框44将生成的数字孪生与获得的实验数据进行基准测试。这可以通过传统的基准测试技术来实现，该技术有效地将模拟器的性能与真实世界的实验数据进行比较。为此，在框46，基准测试的步骤可以有效地验证模拟器实际上正在产生模拟或输出数据，诸如计算机生成的/模拟的诊断数据，其对应于在真实世界中所期望的。
如果模拟数据不对应于实验数据，则在框48，调谐和调整相似的参数，或者换句话说，模拟器或模型细节，直到数字孪生和/或数字诊断数据是可接受的。因此，数字孪生的验证是一个重要的过程，因为它增加了模拟输出的可信度，该模拟输出包括计算机生成的用于训练的诊断数据，如本文所述。
参考附图的图6，其中示出了方法32的流程图。方法32典型地示出了改进断层成像重建算法参数的示例方法。特别是通过数字孪生和由此生成的数字诊断数据。这用于使用例如从上面的方法40中导出的成功开发、验证和基准测试的数字孪生来改进真实世界诊断系统14的图像重建过程的目的。也就是说，同样的过程在数字孪生中实现，只是这里的“事实”是已知的。这个优点使得图像重建算法能够被迭代地改进。在这种情况下，焦点在于提高图像重建系统精度的确定性类型算法。
方法32包括在框33从来自数字孪生的模拟探测器装置生成数字探测器输出数据形式的数字诊断数据。
方法32包括在框34对步骤33中的模拟数字诊断数据执行断层成像重建(或对原始数据进行类似的重建以产生图像)，以基于数字诊断数据生成重建图像。预定算法可以用于该步骤，例如，传统的重建算法。将会理解，在一些示例实施例中，数字孪生可以被配置为使得其模拟的抽象级别相对较高，并且同样地，数字孪生可以使用预定算法简单地生成重建图像作为本文预期的数字诊断数据。
方法32包括在框35接收或获得与系统14相关联的实际真实世界诊断数据。该数据的抽象级别可能很高，例如，在如图4所示的抽象级别23.2到23.5中的任何一个级别上执行比较被认为对该目标是有效的。可以选择要比较的细节，以便最终基准测试和验证图像重建性能。可以修改用于生成模拟器的源数据的类型，以在图像重建过程的这种改进中突出相关的特定区域。
然后方法32可以包括在框36定量地比较为图像带来对比度和清晰度所必需的特定特征，因为图像必须最终能够进行分类或诊断(由AI或训练有素的临床医生进行)。本质上，与病理或疾病影响相关的特征必须清晰可见。响应于导致分类或诊断的因素的系统效应、统计效应、分辨率的不足、性能、图像对比度的动态范围可以以适当优化图像的方式来控制。通常图像形成中这些缺陷的来源是不明确的。使用数字孪生可以改变模拟中的特定输入或包括的细节(控制物理、几何、材料、过程)，从而清楚地识别导致最终图像质量恶化的最大元凶(影响)。作为开发周期的一部分，可以解决这些问题，或者实施变更。尽管在此处理了图像形成中的算法过程，但是并不排除使用AI过程来改善在此预期的图像形成。简而言之，方法32可以包括在框36将来自步骤35的实际重建图像与来自步骤34的数字孪生的重建图像进行比较。
如果比较结果是可接受的，在框37，不进一步采取任何措施。然而，如果比较结果不可接受，则在框37，步骤36中的比较结果用于在框38更新预定断层成像重建算法中的参数。
现在参考附图的图7，其中示出了方法50的流程框图。方法50通常是根据本发明的示例实施例的用于生成用于改善重建图像的训练分类器的方法，例如由如上所述的处理器30实现的分类器。这可以是之前的图6和本文公开的方法32的进步，因为在这种情况下，焦点在于基于机器的学习过程，其提高了图像重建过程的精度。
方法50包括：在框52，在预定容差内以随机方式改变数字孪生的参数，以避免误差；以及在框54，生成预定数据抽象级别(参考图4描述的一个或多个级别)的计算机生成/模拟的数字诊断数据。
如上所述，该步骤需要数字地改变系统14、人18和人14的病理的参数。数字孪生的参数的变化有效地在框54产生鲁棒性质的模拟或数字诊断数据，因为它允许获得系统14操作的许多变化的事实数据。这当然与使用真实世界的测量和记录技术来生成用于训练分类器的数据截然不同。为了获得数字诊断数据，重要的是改变患者18的特征和参数以及疾病的物理表现及其各种类型和进展，以便获得非常鲁棒的数字诊断数据集。
具体而言，在一个示例实施例中，计算机生成的诊断数据是LoR的形式，其然后被用于如上所述重建的3D图像。
方法50包括以下步骤：在框56，将计算机生成的数字诊断数据分离成训练和验证数据集，并用作为数字诊断数据的一部分的训练数据集来训练上述类型的分类器。在一个示例实施例中，如上所述的所有训练数据的集合被馈送到分类器中，优选地以CNN分类器的形式，以训练该分类器。
一旦被训练，方法50包括在框58通过使用验证数据集来验证分类器的性能的步骤，该验证数据集是在步骤54中生成的计算机生成的数字诊断数据的一部分。以这种方式，实现了分类器的监督学习，并且可以方便地确定训练的分类器是否有效地执行。
参考附图中的图8，促进和/或辅助系统14中的诊断的方法通常由附图标记60表示。在一个示例实施例中，改进断层成像图像的方法60。
在PET扫描的情况下，该方法包括根据被成像的人的部位将放射性同位素/放射性示踪剂引入人18的体内。
在任何情况下，一旦人18，即患者18相对于探测器装置12定位，装置12被配置为探测从与系统14成像的患者18的组织的相互作用中发出的PET光子。
由此可见，方法60包括在框62以无线或硬连线方式从探测器装置12接收诊断数据。
如果需要，方法60可以包括可选地提高接收到的诊断数据的抽象级别。在上面步骤62中接收的诊断数据是非常低的数据抽象级别的情况下，例如，原始诊断数据/信号(尽管在一些高级示例实施例中这可能不是必需的)，可能需要该步骤。通过处理原始诊断数据以获得LoR，然后从LoR到2D投影的2D集(形成4D正弦图)，使用图像重建技术的3D图像，然后如上所述提取图像特征，可以通过上述方式提高抽象水平。
然后方法60包括处理用如本文所述的经训练的分类器接收的诊断数据。如本文描述的长度，在框68，经训练的分类器能够方便地确定接收的诊断数据是否指示疾病。例如，在新冠肺炎(COVID-19)的情况下，由系统14检查的患者18的组织是肺组织，其中分类器被配置为基于模拟的数据给出新冠肺炎的存在、任何肺损伤的存在和严重性等的指示。
如果确定被成像的组织是患病的，则方法60可以包括在框70生成合适的输出诊断建议。类似地，如果确定被成像的组织没有患病，则方法60可以包括在框70生成合适的输出诊断建议。
以这种方式，系统10可以准确地执行临床分析，以正确地识别存在的病理，并做出正确的诊断和/或诊断建议(换句话说，自动的第一/第二意见)。
现在参考附图的图9，其示出了计算机系统100的示例中的机器的图示，在该计算机系统100中可以执行一组指令，用于使机器执行本文讨论的任何一种或多种方法。在其他示例实施例中，机器作为独立设备操作，或者可以连接(例如，联网)到其他机器。在联网的示例实施例中，机器可以在服务器-客户端网络环境中以服务器或客户端机器的身份操作，或者在对等(或分布式)网络环境中作为对等机器操作。该机器可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或网桥，或者能够执行指定该机器要采取的动作的一组指令(顺序或其他)的任何机器。此外，尽管为了方便起见仅示出了单个机器，但是术语“机器”也应当被理解为包括机器的任何集合，包括虚拟机，其单独或联合执行一组(或多组)指令来执行本文讨论的任何一个或多个方法。
在任何情况下，示例计算机系统100包括处理器102(例如，中央处理单元(CPU)、图形处理单元(GPU)或两者)、主存储器104和静态存储器106，它们通过总线108相互通信。计算机系统100还可以包括视频显示单元110(例如，液晶显示器(LCD)或阴极射线管(CRT))。计算机系统100还包括字母数字输入设备112(例如键盘)、用户界面(UI)导航设备114(例如鼠标或触摸板)、磁盘驱动单元116、信号生成设备118(例如扬声器)和网络接口设备120。
磁盘驱动单元116包括存储一组或多组指令和数据结构(例如，软件124)的非暂时性机器可读介质112，所述指令和数据结构体现了本文所述的任何一种或多种方法或功能或由本文所述的任何一种或多种方法或功能所利用。在由计算机系统100执行期间，软件124也可以完全或至少部分地驻留在主存储器104和/或处理器102内，主存储器104和处理器102也构成机器可读介质。
软件124还可以通过网络接口设备120利用多种众所周知的传输协议(例如HTTP)中的任何一种在网络126上发送或接收。
尽管机器可读介质112在示例实施例中被示为单个介质，但是术语“机器可读介质”可以指存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式存储器，和/或相关联的缓存和服务器)。术语“机器可读介质”也可以被理解为包括能够存储、编码或承载由机器执行的一组指令并使机器执行本发明的任何一种或多种方法的任何介质，或者能够存储、编码或承载由这样的一组指令使用或与这样的一组指令相关联的数据结构的任何介质。因此，术语“机器可读介质”可以包括但不限于固态存储器、光和磁介质以及载波信号。
在本文公开的本发明中，提出了一种方法和系统，用于通过先进的、真实的和非常详细的计算机模拟或建模，生成非常准确的图像数据，该图像数据具有对所有微观射线-射线和相互作用-相互作用物理过程的完整描述。这是一种方法的基础，该方法首先完全理解，然后考虑与基于来自探测器的原始成像数据的图像重建过程的改进相关的统计和系统过程。
还要注意，基于机器的学习和人工智能技术可以应用于图像重建和图像改善，也可以应用于应用于重建图像的模式识别过程，或者甚至应用于基本射线数据或响应线本身。机器学习或人工智能技术的应用并不新奇。这是显而易见的。然而，开发这些技术的关键步骤是算法的训练。在监督学习的情况下，使用分类或特征识别，将不得不依赖一组附加的标签或需要一个已知事实的数据集。在可以寻找潜在图像模式或特征分组的无监督学习的情况下，可能没有完全的事实，但最终，将不得不根据事实对算法进行基准测试和验证。这是决定机器学习或人工智能方法能力的关键一步。要求患者来源的事实数据来创建足够数量的用于算法训练和验证的示例是非常乏味的。就这一点而言，做得不够充分，不利于算法的性能及其对所有可能的图像输入的通用性，以准确地产生所需的正确图像分析。
在本发明中，还提出了一种方法，用于通过先进的、逼真的和详细的计算机模拟或建模来生成具有完全事实描述的非常准确的模拟图像数据。为此，需要整个系统的数字复制品，复制所有组件的设计，并准确模拟所有物理过程、信号产生和处理以及任何其他要求，以便在真实情况应用中产生与完整实际系统相同的数据。从数字孪生中产生一组扩展的准确但模拟的数据，以及完全已知的特征和分类或从该数据中重建的图像的任何其他所需的标记，将使得能够使用关于该产生的组中每个模拟实例的这些已知事实对算法进行适当的训练，以用于任何所需的临床分析。这形成了训练、改进和验证本发明中概述的用于前述图像类型的算法模型的新方法的基础。通过适当地考虑统计和系统效应，也可以使用相同的模型来改善实际的图像形成，否则统计和系统效应会恶化重建图像。机器学习或人工智能也可以应用于图像形成。
这样，数字孪生概念可以改善图像形成和模式识别。它可以以确定的方式应用，并且还可以开发机器学习和人工智能解决方案，用于图像重建和模式识别或分类或特征识别或任何其他所需的分析。这种组合方法的使用导致在临床应用中使用所述系统的临床分析大大改善。

Claims (44)

1.一种处理来自医学诊断系统的数据的方法，所述医学诊断系统包括至少一个合适的探测器装置，所述探测器装置被配置为探测高能粒子和组织的相互作用，所述方法包括：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中所述诊断数据是由于所述医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
用经训练的基于机器的分类器处理所接收的诊断数据，以促进和/或辅助医疗诊断，其中至少用由所述医学诊断系统的数字孪生生成的数字诊断数据来训练所述经训练的基于机器的分类器，其中所述数字孪生是所述医学诊断系统的至少一部分的计算机实现的模拟。
2.根据权利要求1所述的方法，其中，促进和/或辅助医学诊断的步骤包括识别所述组织中感兴趣的材料和/或区域，其中基于所述识别，确定合适的诊断。
3.根据权利要求1或2所述的方法，其中，所述数字孪生被配置为输出数字诊断数据，所述数字诊断数据近似于由于真实世界医学诊断系统中所述高能粒子和所述组织的相互作用而生成的诊断数据。
4.根据前述权利要求中任一项所述的方法，其中，所接收的诊断数据由所述医学诊断系统生成，并且其中，所述医学诊断系统是真实世界的医学诊断系统。
5.根据前述权利要求中任一项所述的方法，其中，所述数字孪生被配置为通过所述探测器装置来模拟对高能粒子和组织的相互作用的探测，以生成所述数字诊断数据。
6.根据前述权利要求中任一项所述的方法，其中，所述数字孪生被配置为模拟来自组织中的辐射源或与所述组织相互作用的外部施加的辐射源的辐射；模拟所述辐射与人类或动物的组织的相互作用；以及模拟与所述辐射源和所述探测器装置相关联的高能粒子的相互作用，以获得所述数字诊断数据。
7.根据前述权利要求中任一项所述的方法，其中，所述数字孪生被配置为数字地构建健康和患病的组织和/或人类或动物患者的多个数字版本，因为其可能呈现给所述探测器装置。
8.根据前述权利要求中任一项所述的方法，其中，所述方法包括以下先前步骤：
接收与组织相关联的实验诊断数据，所述实验诊断数据具有其中有或没有不期望物质的组织的病理指示；
接收与其中有或没有不期望物质的组织的病理的定量和定性方面的一者或两者相对应的实验诊断数据；以及
使用上述接收到的实验诊断数据中的一者或两者，通过将所述数字孪生生成的数字诊断数据与实验诊断数据进行基准测试，来验证所述数字诊断数据。
9.根据权利要求8所述的方法，其中，所述不期望物质是癌细胞、异常组织、死细胞和脓液中的一种或多种。
10.根据前述权利要求中任一项所述的方法，其中，所述方法包括：
改变所述数字孪生的参数，并捕获与所改变的参数的模拟相对应的数字诊断数据作为训练数据集和验证数据集；
用所述训练数据集训练所述基于机器的分类器；以及
用所述验证数据集来验证所述经训练的基于机器的分类器的性能。
11.根据权利要求10所述的方法，其中，所述方法包括将所述经训练的基于机器的学习分类器的权重和架构存储在存储器存储设备中。
12.根据前述权利要求中任一项所述的方法，其中，所述方法包括：
用高能粒子或高能射线照射所述组织；
探测由被照射的组织发射的预定能级的粒子；以及
基于所述粒子的探测生成诊断数据。
13.根据前述权利要求中任一项所述的方法，其中，所述高能粒子是光子、电子或正电子。
14.根据前述权利要求中任一项所述的方法，其中，所述诊断数据是从包括指示所述探测器装置上的伽马射线撞击、响应线(LoR)、4D投影、3D图像和图像特征的数据的组中选择的数据，并且其中所述数字诊断数据与所述诊断数据相匹配。
15.根据权利要求14所述的方法，其中，指示探测器装置上的伽马射线撞击的数据是来自所述探测器装置的原始输出信号。
16.根据权利要求14或15所述的方法，其中，所述方法包括在用所述经训练的基于机器的学习分类器进行处理之前，对所述诊断数据进行预处理，以提高其数据抽象水平和/或提高其质量。
17.根据前述权利要求中任一项所述的方法，其中，所述诊断数据是重建的3D图像的形式，其中，用所述经训练的基于机器的学习分类器处理所接收的诊断数据包括用所述经训练的基于机器的学习分类器以重叠的方式处理所述3D图像的块。
18.根据前述权利要求中任一项所述的方法，其中，所接收的诊断数据包括重建的3D图像，并且其中，所述方法包括校正所述重建的3D图像中的不规则性和/或缺陷。
19.根据前述权利要求中任一项所述的方法，其中，所述方法包括用所述数字诊断数据处理所接收的数字诊断数据，以用确定性或迭代技术来改善图像重建。
20.根据前述权利要求中任一项所述的方法，其中，所述方法包括用数字诊断数据处理所接收的诊断数据，以通过将所接收的诊断数据与数字诊断数据进行比较并修改与用于生成与所接收的诊断数据相关联的断层成像图像的断层成像算法相关联的参数来提高从所接收的诊断数据生成的或包含在所接收的诊断数据中的断层成像图像的质量。
21.根据权利要求20所述的方法，其中，所述方法包括：
a.使用所述数字孪生来生成数字诊断数据；
b.从所生成的数字诊断数据生成数字图像，其中所生成的图像是通过所述断层成像算法生成的重建图像；
c.将所生成的数字图像与所述数字孪生进行比较，从而确定所述数字图像的准确性；以及
d.基于比较步骤c，改变用于生成步骤b的断层成像算法的参数，以优化所述断层成像算法。
22.一种医学诊断系统：
存储器存储设备；以及
一个或多个处理器，被配置为：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中所述诊断数据是由于所述医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
用经训练的基于机器的分类器处理所接收的诊断数据，以促进和/或辅助医疗诊断，其中至少用由所述医学诊断系统的数字孪生生成的数字诊断数据来训练所述经训练的基于机器的分类器，其中所述数字孪生是所述模医学诊断系统的至少一部分的计算机实现的拟。
23.根据权利要求22所述的系统，其中，所述一个或多个处理器被配置为通过识别所述组织中感兴趣的材料和/或区域来促进和/或辅助医疗诊断，其中基于所述识别，确定合适的诊断。
24.根据权利要求22或23所述的系统，其中，所述数字孪生被配置为输出数字诊断数据，所述数字诊断数据近似于由于真实世界医学诊断系统中所述高能粒子和所述组织的相互作用而生成的诊断数据。
25.根据权利要求22至24中任一项所述的系统，其中，所接收的诊断数据由所述医学诊断系统生成，并且其中，所述医学诊断系统是真实世界的医学诊断系统。
26.根据权利要求22至25中任一项所述的系统，其中，所述数字孪生被配置为通过所述探测器装置来模拟对高能粒子和组织的相互作用的探测，以生成所述数字诊断数据。
27.根据权利要求22至26中任一项所述的系统，其中，所述数字孪生被配置为模拟来自组织中的辐射源或与所述组织相互作用的外部施加的辐射源的辐射；模拟所述辐射与人类或动物的组织的相互作用；以及模拟与所述辐射源和所述探测器装置相关联的高能粒子的相互作用，以获得所述数字诊断数据。
28.根据权利要求22至27中任一项所述的系统，其中，所述数字孪生被配置为数字地构建健康和患病的组织和/或人类或动物患者的多个数字版本，因为其可能呈现给所述探测器装置。
29.根据权利要求22至28中任一项所述的系统，其中，包括在所述存储器存储设备中存储所述经训练的基于机器的学习分类器的权重和架构。
30.根据权利要求22至29中任一权利要求所述的系统，其中，所述系统包括：
所述探测器装置，被配置为探测由被照射的组织发射的预定能级的粒子；以及
基于所述粒子的探测生成诊断数据。
31.根据权利要求22至30中任一项所述的系统，其中，所述高能粒子是光子、电子或正电子。
32.根据权利要求22至31中任一项所述的系统，其中，所述诊断数据是从包括指示所述探测器装置上的伽马射线撞击、响应线(LoR)、4D投影、3D图像和图像特征的数据的组中选择的数据，并且其中所述数字诊断数据与所述诊断数据相匹配。
33.根据权利要求32所述的系统，其中，指示探测器装置上的伽马射线撞击的数据是来自所述探测器装置的原始输出信号。
34.根据权利要求32或33所述的系统，其中，所述一个或多个处理器被配置为在用所述经训练的基于机器的学习分类器进行处理之前，对所述诊断数据进行预处理，以提高其数据抽象水平和/或提高其质量。
35.根据权利要求22至34中任一项所述的系统，其中，所述诊断数据是重建的3D图像的形式，其中，所述一个或多个处理器被配置为用所述经训练的基于机器的学习分类器以重叠的方式处理所述3D图像的块，来用所述经训练的基于机器的学习分类器来处理所接收的诊断数据。
36.根据权利要求22至35中任一项所述的系统，其中，所接收的诊断数据包括重建的3D图像，并且其中，所述一个或多个处理器被配置为校正所述重建的3D图像中的不规则性和/或缺陷。
37.根据权利要求22至36中任一项所述的系统，其中，所述一个或多个处理器被配置为用所述数字诊断数据来处理所接收的数字诊断数据，以用确定性或迭代技术来改善图像重建。
38.根据权利要求22至37中任一项所述的系统，其中，所述一个或多个处理器被配置为：
a.使用所述数字孪生来生成数字诊断数据；
b.从所生成的数字诊断数据生成数字图像，其中所生成的图像是通过所述断层成像算法生成的重建图像；
c.将所生成的数字图像与所述数字孪生进行比较，从而确定所述数字图像的准确性；以及
d.基于比较步骤c，改变用于生成步骤b的断层成像算法的参数，以优化所述断层成像算法。
39.根据权利要求22至38中任一项所述的系统，其中，所述系统构成所述医学诊断系统的一部分。
40.一种处理来自医学诊断系统的数据的方法，所述医学诊断系统包括至少一个合适的探测器装置，所述探测器装置被配置为探测高能粒子和组织的相互作用，所述方法包括：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中所述诊断数据是由于所述医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
利用断层成像重建算法处理所接收的诊断数据，所述断层成像重建算法利用由所述医学诊断系统的数字孪生生成的数字诊断数据进行优化，其中所述数字孪生是所述医学诊断系统的至少一部分的计算机实现的模拟。
41.根据权利要求41所述的方法，其中所述方法包括：
a.使用所述数字孪生来生成数字诊断数据；
b.从所生成的数字诊断数据生成数字图像，其中所生成的图像是通过所述断层成像算法生成的重建图像；
c.将所生成的数字图像与所述数字孪生进行比较，从而确定所述数字图像的准确性；以及
d.基于比较步骤c，改变用于生成步骤b的断层成像算法的参数，以优化所述断层成像算法。
42.一种医学诊断系统，其中所述系统包括：
存储器存储设备；以及
一个或多个处理器，被配置为：
接收与高能粒子和组织的相互作用相关联的诊断数据，其中所述诊断数据是由于真实世界医学诊断系统的探测器装置探测到的高能粒子和组织的相互作用而生成；以及
利用断层成像重建算法处理所接收的诊断数据，所述断层成像重建算法利用由所述医学诊断系统的数字孪生生成的数字诊断数据进行优化，其中所述数字孪生是所述医学诊断系统的至少一部分的计算机实现的模拟。
43.根据权利要求42所述的系统，其中，所述一个或多个处理器被配置为：
a.使用所述数字孪生来生成数字诊断数据；
b.从所生成的数字诊断数据生成数字图像，其中所生成的图像是通过所述断层成像算法生成的重建图像；
c.将所生成的数字图像与所述数字孪生进行比较，从而确定所述数字图像的准确性；以及
d.基于比较步骤c，改变用于生成步骤b的断层成像算法的参数，以优化所述断层成像算法。
44.一种存储一组非暂时性计算机可执行指令的非暂时性计算机可读介质，当所述一组非暂时性计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行根据权利要求1或40所述的方法。
CN202180048468.6A 2020-05-13 2021-05-13 与医学诊断和医学诊断系统相关的方法 Pending CN115803825A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
ZA202002707 2020-05-13
ZA2020/02707 2020-05-13
PCT/IB2021/054109 WO2021229497A1 (en) 2020-05-13 2021-05-13 Methods relating to medical diagnostics and to medical diagnostic systems

Publications (1)

Publication Number Publication Date
CN115803825A true CN115803825A (zh) 2023-03-14

Family

ID=76059930

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180048468.6A Pending CN115803825A (zh) 2020-05-13 2021-05-13 与医学诊断和医学诊断系统相关的方法

Country Status (5)

Country Link
US (1) US12494287B1 (zh)
EP (1) EP4150634A1 (zh)
JP (1) JP7677649B2 (zh)
CN (1) CN115803825A (zh)
WO (1) WO2021229497A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893729B2 (en) * 2017-11-22 2024-02-06 GE Precision Healthcare LLC Multi-modal computer-aided diagnosis systems and methods for prostate cancer
CN117314819A (zh) * 2022-08-03 2023-12-29 重庆稹元创新科技有限责任公司 一种基于正弦分布降噪及自适应通道注意力模型的表面缺陷检测方法
CN116110597B (zh) * 2023-01-30 2024-03-22 深圳市平行维度科技有限公司 一种基于数字孪生的患者病症类别智能分析方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2117649B1 (en) 2007-02-27 2012-10-24 Philips Intellectual Property & Standards GmbH Simulation and visualization of scattered radiation
US20180018757A1 (en) 2016-07-13 2018-01-18 Kenji Suzuki Transforming projection data in tomography by means of machine learning
EP4292537B1 (en) 2017-07-04 2025-05-28 EOS Imaging Method of radiography of an organ of a patient
US11069056B2 (en) * 2017-11-22 2021-07-20 General Electric Company Multi-modal computer-aided diagnosis systems and methods for prostate cancer
WO2019183584A1 (en) 2018-03-23 2019-09-26 Memorial Sloan Kettering Cancer Center Deep encoder-decoder models for reconstructing biomedical images
US20190384871A1 (en) * 2018-06-15 2019-12-19 Palo Alto Research Center Incorporated Generating hybrid models of physical systems
JP7199850B2 (ja) 2018-06-29 2023-01-06 キヤノンメディカルシステムズ株式会社 医用情報処理装置
US10949951B2 (en) * 2018-08-23 2021-03-16 General Electric Company Patient-specific deep learning image denoising methods and systems
US12190236B2 (en) * 2020-04-24 2025-01-07 Deepmind Technologies Limited Predicting properties of materials from physical material structures
US20220230759A1 (en) * 2020-09-09 2022-07-21 X- Act Science, Inc. Predictive risk assessment in patient and health modeling
US20240378347A1 (en) * 2021-01-15 2024-11-14 Lam Research Corporation Generating digital twins of semiconductor manufacturing equipment
WO2022232701A1 (en) * 2021-04-30 2022-11-03 The Regents Of The University Of California System and method for device tracking in magnetic resonance imaging guided interventions
US20220354579A1 (en) * 2021-05-10 2022-11-10 Synaptive Medical Inc. Systems and methods for planning and simulation of minimally invasive therapy

Also Published As

Publication number Publication date
US12494287B1 (en) 2025-12-09
EP4150634A1 (en) 2023-03-22
JP2023525372A (ja) 2023-06-15
WO2021229497A1 (en) 2021-11-18
JP7677649B2 (ja) 2025-05-15

Similar Documents

Publication Publication Date Title
Nomura et al. Projection‐domain scatter correction for cone beam computed tomography using a residual convolutional neural network
US11850081B2 (en) Monochromatic CT image reconstruction from current-integrating data via machine learning
EP4018371B1 (en) Systems and methods for accurate and rapid positron emission tomography using deep learning
JP7359851B2 (ja) 陽電子放出断層撮影（ｐｅｔ）のための人工知能（ａｉ）ベースの標準取込み値（ｓｕｖ）補正及び変動評価
US12494287B1 (en) Methods relating to medical diagnostics and to medical diagnostic systems
US11250545B2 (en) Deep learning-based denoising in quantitative single photon emission computed tomography
Polson et al. PyTomography: A python library for medical image reconstruction
Li et al. Multienergy cone-beam computed tomography reconstruction with a spatial spectral nonlocal means algorithm
Chen et al. DAEGAN: Generative adversarial network based on dual-domain attention-enhanced encoder-decoder for low-dose PET imaging
CN110717951A (zh) 一种基于cGANs的PET图像直接重建方法
CN112349383A (zh) 一种基于机器学习和蒙特卡罗算法的放射治疗剂量计算与验证方法
Biguri Iterative reconstruction and motion compensation in computed tomography on GPUs
Geoffroy et al. Real time artificial neural network FPGA implementation for triple coincidences recovery in PET
CN112634206A (zh) 一种pet图像的病灶检测方法、系统、装置及存储介质
US20230162328A1 (en) Image processing apparatus
Inanc et al. A CAD interfaced simulation tool for X-ray NDE studies
Levital et al. Non-parametric Bayesian deep learning approach for whole-body low-dose PET reconstruction and uncertainty assessment
JP2023077988A (ja) 放射線画像処理装置、放射線画像処理方法、画像処理装置、学習装置、学習データの生成方法、及びプログラム
Leuliet Deep learning for tomographic reconstruction: Study and application to computed tomography and positron emission imaging
Heikkinen Model-based imaging of spent nuclear fuel with passive gamma emission tomography
Dal Toso et al. Deep learning based approach to quantification of PET tracer uptake in small tumors
Fernandez et al. RT modelling for NDT recent and future developments in the CIVA RT/CT module
Zhang et al. Spatiotemporal correlation enhanced real-time 4D-CBCT imaging using convolutional LSTM networks
Mejia et al. PET image reconstruction using a GRU-convolutional network
US20250117986A1 (en) Methods and systems for image reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination