[go: up one dir, main page]

CN119007199B - 基于多层级病理图像融合的空间转录图谱生成方法 - Google Patents

基于多层级病理图像融合的空间转录图谱生成方法 Download PDF

Info

Publication number
CN119007199B
CN119007199B CN202411474961.6A CN202411474961A CN119007199B CN 119007199 B CN119007199 B CN 119007199B CN 202411474961 A CN202411474961 A CN 202411474961A CN 119007199 B CN119007199 B CN 119007199B
Authority
CN
China
Prior art keywords
level
scale
sequence
matrix
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202411474961.6A
Other languages
English (en)
Other versions
CN119007199A (zh
Inventor
林兰芬
王弘毅
欧阳淑怡
刘玥
梁霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202411474961.6A priority Critical patent/CN119007199B/zh
Publication of CN119007199A publication Critical patent/CN119007199A/zh
Application granted granted Critical
Publication of CN119007199B publication Critical patent/CN119007199B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种基于多层级病理图像融合的空间转录图谱生成方法，用于在缺少空间转录组分析设备的情况下依靠数字病理图像进行空间转录图谱的生成。本发明属于电子信息技术领域，技术方案要点包括：获取玻片标本在不同放大倍率下的感兴趣区域图像；将各层级感兴趣区域图像送入各自的卷积嵌入层中，得到各层级的序列化特征；对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列；对所有层级的单尺度元素混合特征序列进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列；将跨尺度通道混合特征序列的末尾元素送入线性回归器中，预测生成感兴趣区域的空间转录组基因计数；重复以上，获得整个玻片标本的空间转录图谱。

Description

基于多层级病理图像融合的空间转录图谱生成方法
技术领域
本申请涉及电子信息技术领域，尤其涉及一种基于多层级病理图像融合的空间转录图谱生成方法。
背景技术
基于bulkRNA的传统基因测序技术往往只能得到整块组织的粗粒度基因表达量信息，而空间转录组技术的出现使得获取基因表达量在病理组织切片上的空间分布成为可能。通过结合空间转录组测序结果和数字病理影像，医生将能够更加准确地定位和分析病灶，实现精准治疗。
但是，目前空间转录组技术需要配套设备支持，且检测费用十分昂贵，这使得其难以被大量推广使用。
发明内容
鉴于此，本申请实施例的目的是提供一种基于多层级病理图像融合的空间转录图谱生成方法，通过将数字病理图像中由显微镜不同倍率放大后全扫描得到的组织图像一次性输入网络，并在视觉特征提取的过程中不断对其中不同尺度、不同分辨率的视觉信息进行融合，从而模仿职业病理科医生阅片时不断放大、缩小数字病理图像以结合多尺度信息进行最终诊断的流程，实现更高精度的下游任务性能。
根据本申请实施例的第一方面，提供一种基于多层级病理图像融合的空间转录图谱生成方法，包括：
S1：获取玻片标本在至少两个不同放大倍率下的全扫描病理图像；
S2：分别在不同放大倍率下的全扫描病理图像的层级上进行病理图像的感兴趣区域采样，得到各层级图像；
S3：将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各层级的序列化特征末尾增加一个可学习的元素，用于编码整个序列的信息；
S4：对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列；
S5：将所有层级的单尺度元素混合特征序列拼接为一个完整的二维矩阵，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，再将所述跨尺度通道混合特征序列按照输入的分层重新拆分，重新得到若干个层级拆分后的跨尺度通道混合特征序列；
S6：将若干个层级拆分后的跨尺度通道混合特征序列末尾的元素取出并拼接，得到一维向量，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数；
S7：重复S2-S6，获得整个玻片标本的空间转录图谱。
可选的，所述感兴趣区域采样过程需要遵循以下原则：
在不同放大倍率的全扫描病理图像上，除了需要保证采样区域的中心能够统一对齐到玻片标本的同一位置上，其采样的图像尺寸也需随图像放大倍率进行相应倍率的放大或缩小。
可选的，将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各序列化特征末尾增加一个可学习的元素，包括：
将各层级图像分别送入各层相应的卷积嵌入层中，得到各层级的序列化特征，其中各层卷积核尺寸和步长按照各层级的放大倍率相应放大或缩小，以保证各层级下采样的图像最终能被转换为长度一致的序列化特征；
在每个序列化特征后端额外增加一个随机初始化的可学习的元素，将序列长度增加一位。
可选的，对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列，包括：
S41：对各层级的序列化特征进行层归一化处理；
S42：对归一化处理后的序列化特征进行处理，对每一层级的序列化特征，分别通过可学习的三个参数矩阵将其转换为三个不同的通道压缩特征矩阵；
S43：将第一个通道压缩特征矩阵与第二个通道压缩特征矩阵的转置进行矩阵乘法，得到序列内元素的自相关性矩阵，再将所述自相关性矩阵与第三个通道压缩特征矩阵进行矩阵乘法，得到通道压缩后的单尺度元素混合特征序列；
S44：将所述单尺度元素混合特征序列通过另一个可学习的矩阵进行通道还原，将通道数重新变得与归一化前的数量完全一致，得到最终的单尺度元素混合特征序列。
可选的，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，包括：
S51：对拼接得到的二维矩阵进行层归一化处理；
S52：使用第一个可学习的参数矩阵，将归一化后的二维矩阵进行通道压缩，去除层级间的冗余信息；
S53：通过第二个可学习的参数矩阵将通道压缩后的二维矩阵的通道数还原为与输入模块前一致，得到跨尺度通道混合特征序列。
可选的，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数，包括：
S61：对所述一维向量进行层归一化处理；
S62：通过一个可学习的线性回归参数矩阵，与归一化后的一维向量进行矩阵乘法，得到待预测的基因计数。
根据本申请实施例的第二方面，提供一种基于多层级病理图像融合的空间转录图谱生成装置，包括：
获取模块，用于获取玻片标本在至少两个不同放大倍率下的全扫描病理图像；
采样模块，用于分别在不同放大倍率下的全扫描病理图像的层级上进行病理图像的感兴趣区域采样，得到各层级图像；
卷积处理模块，用于将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各层级的序列化特征末尾增加一个可学习的元素，用于编码整个序列的信息；
单尺度特征提取模块，用于对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列；
跨尺度特征提取模块，用于将所有层级的单尺度元素混合特征序列拼接为一个完整的二维矩阵，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，再将所述跨尺度通道混合特征序列按照输入的分层重新拆分，重新得到若干个层级拆分后的跨尺度通道混合特征序列；
回归处理模块，用于将若干个层级拆分后的跨尺度通道混合特征序列末尾的元素取出并拼接，得到一维向量，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数；
图谱生成模块，用于重复采样模块至回归处理模块，获得整个玻片标本的空间转录图谱。
根据本申请实施例的第三方面，提供一种电子设备，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的方法。
根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面所述方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果：
本申请基于数字病理图像的深度学习的技术来进行空间转录图谱预测，克服了常规空间转录组分析需要专用设备且检测价格高昂的问题，进而能以极低的成本提供空间转录信息辅助医生进行疾病诊断，大大降低了患者的看病开销，达到了医疗技术惠民的效果。
本申请在深度学习网络设计上采用了多层级病理图像特征融合的方法，克服了传统深度学习方案只能捕获单一尺度特征的不足，进而进一步提升了空间转录图谱预测的准确性，进而能帮助医生更准确地了解患者情况并给出针对性的精准诊断方案，有利于提高诊疗效率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于多层级病理图像融合的空间转录图谱生成方法的流程图。
图2是根据一示例性实施例示出的基于多层级病理图像融合的空间转录图谱生成方法所使用的深度学习网络整体结构图。
图3是根据一示例性实施例示出的基于多层级病理图像融合的空间转录图谱生成方法所使用的深度学习网络中单尺度的层级内特征提取模块结构图。
图4是根据一示例性实施例示出的基于多层级病理图像融合的空间转录图谱生成方法所使用的深度学习网络中跨尺度的层级间特征提取模块结构图。
图5是根据一示例性实施例示出的一种基于多层级病理图像融合的空间转录图谱生成装置的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种基于多层级病理图像融合的空间转录图谱生成方法的流程图，图2是根据一示例性实施例示出的基于多层级病理图像融合的空间转录图谱生成方法所使用的深度学习网络整体结构图，如图1和图2所示，该方法可以包括以下步骤：
S1：获取玻片标本在至少两个不同放大倍率下的全扫描病理图像；
具体地，以大部分医院采用的数字病理图像扫描仪为例，可采集得到40倍、20倍、10倍、和5倍等放大倍率下的数字病理图像。作为示例，选取其中40倍、20倍，和10倍放大倍率下的数字病理图像进行后续操作。显然，三个层级图像彼此间的尺寸满足4倍，2倍，和1倍的相对关系。
S2：分别在不同放大倍率下的全扫描病理图像的层级上进行病理图像的感兴趣区域采样，得到各层级图像；
具体地，所述感兴趣区域采样过程需要遵循以下原则：
在不同放大倍率的全扫描病理图像上，除了需要保证采样区域的中心能够统一对齐到玻片标本的同一位置上，其采样的图像尺寸也需随图像放大倍率进行相应倍率的放大或缩小。作为示例，对40倍放大倍率图像采样224*224尺寸的感兴趣区域，因此相应地在20倍放大的图片上，采样尺寸变为112*112，在10倍放大倍率上变为56*56，依此类推。
S3：将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各层级的序列化特征末尾增加一个可学习的元素，用于编码整个序列的信息；该步骤包括以下子步骤：
S31：将各层级图像分别送入各层相应的卷积嵌入层中，得到各层级的序列化特征，其中各层卷积核尺寸和步长按照各层级的放大倍率相应放大或缩小，以保证各层级下采样的图像最终能被转换为长度一致的序列化特征；
具体地，以40倍放大倍率上采样得到的224*224图像采用16*16尺寸的卷积核和卷 积步长为例，该图像将被转换成长度为（224/16）*（224/16）=196的序列化特征；相应的，在 20倍放大倍率上的112*112图像则应采用8*8尺寸的卷积核和卷积步长，以确保其最终也能 被转换为长度为196的序列化特征。各个序列的特征通道不需要相同，可以分别设定为。在本说明书中，建议也按照放大被倍率的区别等比例增大缩小，比如40倍 放大倍率上使用192通道，则相应在20倍放大倍率上使用96通道。
S32：为了便于后续将整个序列的特征整合到单一元素内，在每个序列化特征后端额外增加一个可学习的元素，将序列长度增加一位。
具体地，对第i层级的特征序列随机初始化一个形状为的可学习向量，然后将 其拼接到原先长度为196的序列特征的末尾，将序列长度变为197。
S4：对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列；参考图3，该步骤包括以下子步骤：
S41：对各层级的序列化特征进行层归一化处理；
具体地，在各序列特征的所有通道上计算整体的均值和标准差。然后，使用这 些统计数据来规范化该样本的每个通道：
其中，是第i个通道，是层归一化后的特征的第i个通道。
S42：对归一化处理后的序列化特征进行处理，对每一层级的序列化特征，分别通过可学习的三个参数矩阵将其转换为三个不同的通道压缩特征矩阵；
具体地，首先将各序列特征通过三个不同的可学习矩阵转换为Q，K，V三个新的特 征矩阵（形状均为，指代第i个序列特征的通道数，指代经过Q，K，V矩阵变换后的 通道数）。
S43：将第一个通道压缩特征矩阵与第二个通道压缩特征矩阵的转置进行矩阵乘法，得到序列内元素的自相关性矩阵，再将所述自相关性矩阵与第三个通道压缩特征矩阵进行矩阵乘法，得到通道压缩后的单尺度元素混合特征序列；
具体地，在随机掩码比例m这一参数的指导下，进行如下操作：
其中， 是一个二维掩码矩阵，其中的元素在每一次训练迭代中 以 (的概率被随机置为0，1-m的概率被置为1。经此操作，序列中的每个元素都 与序列中的其他元素根据相关性产生了关联，从而实现了全局信息交互，而随机掩码则进 一步加强了模型的鲁棒性。
S44：将所述单尺度元素混合特征序列通过另一个可学习的矩阵进行通道还原，将通道数重新变得与归一化前的数量完全一致，得到最终的单尺度元素混合特征序列。
具体地，之后，需要再使用一个形状为的可学习参数矩阵，将得到的 的结果还原为与输入的序列化特征相同的形状。
S5：将所有层级的单尺度元素混合特征序列拼接为一个完整的二维矩阵，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，再将所述跨尺度通道混合特征序列按照输入的分层重新拆分，重新得到若干个层级拆分后的跨尺度通道混合特征序列；
具体地，按照通道维度进行拼接，得到形状的二维矩阵。
其中，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，参考图4，具体包括以下子步骤：
S51：对拼接得到的二维矩阵进行层归一化处理；
具体地，层归一化操作与S41保持一致，可进一步帮助网络训练时的快速收敛。
S52：使用第一个可学习的参数矩阵，将归一化后的二维矩阵进行通道压缩，去除层级间的冗余信息；
具体地，第一个参数矩阵会将的特征矩阵首先压缩为的特征。
S53：通过第二个可学习的参数矩阵将二维矩阵特征的通道数还原为与输入模块前一致的形状，得到跨尺度通道混合特征序列。
具体地，第二个参数矩阵将先前形状的二维矩阵还原成的形状，得到跨尺度通道混合特征序列。
这样的设计将帮助去除多尺度间的冗余信息，以更小的计算量实现更有效的跨层级特征提取。
再将所述跨尺度通道混合特征序列按照输入的分层重新拆分，重新得到若干个层级拆分后的跨尺度通道混合特征序列。
S6：将若干个层级拆分后的跨尺度通道混合特征序列末尾的元素取出并拼接，得到一维向量，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数；该步骤包括以下子步骤：
S61：对所述一维向量进行层归一化处理；
具体地，将各序列末尾的元素取出并拼接，得到维向量。该向量上 的层归一化操作与S41保持一致，可进一步帮助网络训练时的快速收敛。
S62：通过一个可学习的线性回归参数矩阵，与归一化后的一维向量进行矩阵乘法，得到待预测的基因计数。
具体地，通过一个形状为的可学习的矩阵实现，其中G为待预 测的基因个数。输出的G个数字，每个数字表示相应基因在病理切片样本中出现的次数。
S7：重复S2-S6，获得整个玻片标本的空间转录图谱。
具体地，按照固定的间隔和固定的感兴趣区域尺寸按照网格状的形式进行逐一预测，最终即可生成整个病理切片上的空间转录图谱。
由上述实施例可知，本申请可以在仅需数字病理图像的情况下，通过对多层级病理图像进行特征融合，进而较为准确地生成整个病理组织切片的空间转录图谱，大大降低了空间转录组分析在疾病诊断中的成本。
这里选取三个公开数据集（HBC, HER2+, cSCC）进行测试，结果显示本发明提出的方法可以以最少的参数量和浮点运算数达到47.78%, 43.98%, 50.70%皮尔森相关系数(PCC)。
与前述的基于多层级病理图像融合的空间转录图谱生成方法的实施例相对应，本申请还提供了基于多层级病理图像融合的空间转录图谱生成装置的实施例。
图5是根据一示例性实施例示出的一种基于多层级病理图像融合的空间转录图谱生成装置框图。参照图5，该装置包括：
获取模块1，用于获取玻片标本在至少两个不同放大倍率下的全扫描病理图像；
采样模块2，用于分别在不同放大倍率下的全扫描病理图像的层级上进行病理图像的感兴趣区域采样，得到各层级图像；
卷积处理模块3，用于将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各层级的序列化特征末尾增加一个可学习的元素，用于编码整个序列的信息；
单尺度特征提取模块4，用于对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列；
跨尺度特征提取模块5，用于将所有层级的单尺度元素混合特征序列拼接为一个完整的二维矩阵，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，再将所述跨尺度通道混合特征序列按照输入的分层重新拆分，重新得到若干个层级拆分后的跨尺度通道混合特征序列；
回归处理模块6，用于将若干个层级拆分后的跨尺度通道混合特征序列末尾的元素取出并拼接，得到一维向量，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数；
图谱生成模块7，用于重复采样模块至回归处理模块，获得整个玻片标本的空间转录图谱。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
相应的，本申请还提供一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上述的基于多层级病理图像融合的空间转录图谱生成方法。
相应的，本申请还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述的基于多层级病理图像融合的空间转录图谱生成方法。
本领域技术人员在考虑说明书及实践这里公开的内容后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由权利要求指出。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (9)

1.一种基于多层级病理图像融合的空间转录图谱生成方法，其特征在于，包括：
S1：获取玻片标本在至少两个不同放大倍率下的全扫描病理图像；
S2：分别在不同放大倍率下的全扫描病理图像的层级上进行病理图像的感兴趣区域采样，得到各层级图像；
S3：将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各层级的序列化特征末尾增加一个可学习的元素，用于编码整个序列的信息；
S4：对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列；
S5：将所有层级的单尺度元素混合特征序列拼接为一个完整的二维矩阵，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，再将所述跨尺度通道混合特征序列按照输入的分层重新拆分，重新得到若干个层级拆分后的跨尺度通道混合特征序列；
S6：将若干个层级拆分后的跨尺度通道混合特征序列末尾的元素取出并拼接，得到一维向量，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数；
S7：重复S2-S6，获得整个玻片标本的空间转录图谱。
2.根据权利要求1所述的一种基于多层级病理图像融合的空间转录图谱生成方法，其特征在于，所述感兴趣区域采样过程需要遵循以下原则：
在不同放大倍率的全扫描病理图像上，除了需要保证采样区域的中心能够统一对齐到玻片标本的同一位置上，其采样的图像尺寸也需随图像放大倍率进行相应倍率的放大或缩小。
3.根据权利要求1所述的一种基于多层级病理图像融合的空间转录图谱生成方法，其特征在于，将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各序列化特征末尾增加一个可学习的元素，包括：
将各层级图像分别送入各层相应的卷积嵌入层中，得到各层级的序列化特征，其中各层卷积核尺寸和步长按照各层级的放大倍率相应放大或缩小，以保证各层级下采样的图像最终能被转换为长度一致的序列化特征；
在每个序列化特征后端额外增加一个随机初始化的可学习的元素，将序列长度增加一位。
4.根据权利要求1所述的一种基于多层级病理图像融合的空间转录图谱生成方法，其特征在于，对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列，包括：
S41：对各层级的序列化特征进行层归一化处理；
S42：对归一化处理后的序列化特征进行处理，对每一层级的序列化特征，分别通过可学习的三个参数矩阵将其转换为三个不同的通道压缩特征矩阵；
S43：将第一个通道压缩特征矩阵与第二个通道压缩特征矩阵的转置进行矩阵乘法，得到序列内元素的自相关性矩阵，再将所述自相关性矩阵与第三个通道压缩特征矩阵进行矩阵乘法，得到通道压缩后的单尺度元素混合特征序列；
S44：将所述单尺度元素混合特征序列通过另一个可学习的矩阵进行通道还原，将通道数重新变得与归一化前的数量完全一致，得到最终的单尺度元素混合特征序列。
5.根据权利要求1所述的一种基于多层级病理图像融合的空间转录图谱生成方法，其特征在于，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，包括：
S51：对拼接得到的二维矩阵进行层归一化处理；
S52：使用第一个可学习的参数矩阵，将归一化后的二维矩阵进行通道压缩，去除层级间的冗余信息；
S53：通过第二个可学习的参数矩阵将通道压缩后的二维矩阵的通道数还原为与输入模块前一致，得到跨尺度通道混合特征序列。
6.根据权利要求1所述的一种基于多层级病理图像融合的空间转录图谱生成方法，其特征在于，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数，包括：
S61：对所述一维向量进行层归一化处理；
S62：通过一个可学习的线性回归参数矩阵，与归一化后的一维向量进行矩阵乘法，得到待预测的基因计数。
7.一种基于多层级病理图像融合的空间转录图谱生成装置，其特征在于，包括：
获取模块，用于获取玻片标本在至少两个不同放大倍率下的全扫描病理图像；
采样模块，用于分别在不同放大倍率下的全扫描病理图像的层级上进行病理图像的感兴趣区域采样，得到各层级图像；
卷积处理模块，用于将各层级图像分别送入各自的卷积嵌入层中，得到各层级的序列化特征，并在各层级的序列化特征末尾增加一个可学习的元素，用于编码整个序列的信息；
单尺度特征提取模块，用于对各层级的序列化特征进行单尺度的层级内特征提取，得到单尺度元素混合特征序列；
跨尺度特征提取模块，用于将所有层级的单尺度元素混合特征序列拼接为一个完整的二维矩阵，对该二维矩阵进行跨尺度的层级间特征提取，得到跨尺度通道混合特征序列，再将所述跨尺度通道混合特征序列按照输入的分层重新拆分，重新得到若干个层级拆分后的跨尺度通道混合特征序列；
回归处理模块，用于将若干个层级拆分后的跨尺度通道混合特征序列末尾的元素取出并拼接，得到一维向量，将该一维向量送入线性回归器中，得到感兴趣区域的空间转录组基因计数；
图谱生成模块，用于重复采样模块至回归处理模块，获得整个玻片标本的空间转录图谱。
8.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，该指令被处理器执行时实现如权利要求1-6中任一项所述方法的步骤。
CN202411474961.6A 2024-10-22 2024-10-22 基于多层级病理图像融合的空间转录图谱生成方法 Active CN119007199B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411474961.6A CN119007199B (zh) 2024-10-22 2024-10-22 基于多层级病理图像融合的空间转录图谱生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411474961.6A CN119007199B (zh) 2024-10-22 2024-10-22 基于多层级病理图像融合的空间转录图谱生成方法

Publications (2)

Publication Number Publication Date
CN119007199A CN119007199A (zh) 2024-11-22
CN119007199B true CN119007199B (zh) 2025-04-08

Family

ID=93485950

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411474961.6A Active CN119007199B (zh) 2024-10-22 2024-10-22 基于多层级病理图像融合的空间转录图谱生成方法

Country Status (1)

Country Link
CN (1) CN119007199B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882955A (zh) * 2022-04-08 2022-08-09 广州国家实验室 转录组图像生成装置、方法和应用
CN115063592A (zh) * 2022-08-16 2022-09-16 之江实验室 一种基于多尺度的全扫描病理特征融合提取方法及系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12230399B2 (en) * 2019-09-27 2025-02-18 The Brigham And Women's Hospital, Inc. Multimodal fusion for diagnosis, prognosis, and therapeutic response prediction
US20220068438A1 (en) * 2020-08-27 2022-03-03 The Broad Institute, Inc. Deep learning and alignment of spatially-resolved whole transcriptomes of single cells
WO2023193267A1 (zh) * 2022-04-08 2023-10-12 广州国家实验室 转录组图像生成装置、方法和应用
CN114529825B (zh) * 2022-04-24 2022-07-22 城云科技（中国）有限公司 用于消防通道占用目标检测的目标检测模型、方法及应用
CN116646005A (zh) * 2023-05-31 2023-08-25 西安交通大学 空间转录数据组织区域分析方法、系统、设备及存储介质
CN117456399A (zh) * 2023-06-30 2024-01-26 中国农业大学 一种面向玉米循环清理作业的小目标检测方法
CN116994245B (zh) * 2023-08-02 2025-07-15 厦门大学 基于深度学习的空间转录组分析方法、装置及可读介质
CN118629498B (zh) * 2024-05-28 2025-04-04 云南大学 基于组织学图像的空间基因表达水平预测方法、装置及设备
CN118486375B (zh) * 2024-06-03 2025-05-16 云南大学 一种超分辨率基因表达图谱的预测方法、装置及设备

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114882955A (zh) * 2022-04-08 2022-08-09 广州国家实验室 转录组图像生成装置、方法和应用
CN115063592A (zh) * 2022-08-16 2022-09-16 之江实验室 一种基于多尺度的全扫描病理特征融合提取方法及系统

Also Published As

Publication number Publication date
CN119007199A (zh) 2024-11-22

Similar Documents

Publication Publication Date Title
JP2023044669A (ja) グラフモデルに基づく脳機能レジストレーション方法
CN110648331B (zh) 用于医学图像分割的检测方法、医学图像分割方法及装置
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
WO2020234349A1 (en) Sampling latent variables to generate multiple segmentations of an image
CN114170167B (zh) 基于注意力引导上下文校正的息肉分割方法和计算机设备
CN109978888A (zh) 一种图像分割方法、装置及计算机可读存储介质
CN116563533B (zh) 基于目标位置先验信息的医学图像分割方法及系统
CN110378913A (zh) 图像分割方法、装置、设备及存储介质
CN115861248A (zh) 医学图像分割方法、医学模型训练方法、装置和存储介质
CN114972266B (zh) 基于自注意机制和稳定学习的淋巴瘤超声图像语义分割方法
CN115527657A (zh) 基于医学数字成像和通信的影像、图像多模态重建、成像及标注
CN116823625A (zh) 基于变分自编码器的跨对比度磁共振超分辨率方法和系统
CN116091412A (zh) 一种从pet/ct图像中分割肿瘤的方法
CN111091575A (zh) 一种基于强化学习方法的医学图像分割方法
CN114066798B (zh) 一种基于深度学习的脑肿瘤核磁共振影像数据合成方法
CN113963037A (zh) 图像配准方法、装置、计算机设备和存储介质
CN117173271A (zh) Ct图像处理方法、模型训练方法、设备、介质及产品
CN114298979B (zh) 一种局灶性病变征象描述指导的肝核磁影像序列生成方法
CN119007199B (zh) 基于多层级病理图像融合的空间转录图谱生成方法
CN113379770B (zh) 鼻咽癌mr图像分割网络的构建方法、图像分割方法及装置
CN113327221B (zh) 融合roi区域的图像合成方法、装置、电子设备及介质
CN116935051B (zh) 一种息肉分割网络方法、系统、电子设备及存储介质
EP4502934A1 (en) Lesion area determining method and apparatus, and model training method and apparatus
CN118470037A (zh) 一种基于深度圆检测的无监督语义分割方法
CN118172549A (zh) 基于注意力机制双路径特征融合网络的病理图像分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant