CN119169012A - 一种多重免疫组织荧光染色图像的分析方法及相关设备 - Google Patents

Abstract

本发明提供了一种多重免疫组织荧光染色图像的分析方法及相关设备，应用于数据处理技术领域。本申请获取原始生物样本数据；对原始生物样本数据进行切片处理，生成若干初始生物切片信息；对初始生物切片信息进行处理，生成荧光染色切片图像；对荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；对对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像；对目标荧光染色图像进行处理，生成初始区域信息；对初始区域信息进行处理，生成多个不同荧光通道的图像，其中，多个不同荧光通道的图像为单荧光通道图像；对多个不同荧光通道的图像进行处理，生成细胞聚类信息。

Description

一种多重免疫组织荧光染色图像的分析方法及相关设备

技术领域

本发明涉及数据处理技术领域，特别涉及一种多重免疫组织荧光染色图像的分析方法及相关设备。

背景技术

肿瘤的发生及发展过程中，涉及肿瘤细胞和肿瘤免疫微环境（Tumor ImmuneMicroenvironment，TIME）之间持续且动态的相互作用。TIME的组成多样、病理生理机制复杂，包括肿瘤中的所有非肿瘤宿主细胞，包括成纤维细胞、内皮细胞、神经元、脂肪细胞、适应性和先天性免疫细胞，以及其非细胞组分，包括细胞外基质和可溶性产物，例如趋化因子、细胞因子、生长因子和细胞外小泡。

免疫组织化学（Immunohistochemistry，IHC）是目前最广泛使用的组织病理学诊断技术，然而该技术仅允许标记每个组织切片的单个标记物，这不利于从患者样品获得关于诊断和预后的信息。然而TIME中各组分的免疫标志物错综复杂并且数量庞大，多重荧光免疫组织化学（mIHC）能够检测的数个标记物越来越难以满足研究者的需要。此外，现有技术还出现了对IHC进行切片，IHC切片融合通常采用基于 SIFT 特征匹配算法的双次多分辨率金字塔模型进行配准，先基于高层分辨率低的图像快速完成组织层面配准，再将配准参数应用到底层分辨率高的大图。虽然一定程度上提高了配准速度，但相对而言，其在细胞层面的配准精度不如本申请所提出的基于复杂机器学习模型对mIHC切片融合的方法，无法满足对细胞间细微结构和关系进行精确分析的需求。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本申请的目的在于提供一种多重免疫组织荧光染色图像的分析方法及相关设备，至少在一定程度上克服现有技术存在的问题，对多张组织切片进行多重荧光免疫组化技术染色，每张切片标记了与肿瘤免疫相关的特异性细胞组分，通过图层提取、手动特征点选择、仿射变换矩阵的计算及应用一系列步骤，实现了多张切片图像的对齐和融合，间接的实现了更多免疫标志物的检测，能反映出肿瘤免疫微环境中更多种类细胞的空间分布及相互作用，更加全面的刻画肿瘤免疫微环境的特征，能帮助研究人员系统、深入和精准地了解肿瘤免疫微环境的信息。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本申请的一个方面，提供一种多重免疫组织荧光染色图像的分析方法，包括：获取原始生物样本数据；对所述原始生物样本数据进行切片处理，生成若干初始生物切片信息，其中，初始生物切片信息包括目标标志物，目标标志物包括淋系细胞、髓系细胞、间质细胞中的至少一种；对初始生物切片信息进行处理，生成荧光染色切片图像，其中，所述荧光染色切片图像为多个荧光通道的图像，所述荧光染色切片图像为基于多重荧光免疫组织化学技术所生成；对所述荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；对所述对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像；对所述目标荧光染色图像进行处理，生成初始区域信息，其中，所述初始区域信息用于表征肿瘤和/或免疫细胞富集的区域；对所述初始区域信息进行处理，生成多个不同荧光通道的图像，其中，多个不同荧光通道的图像为单荧光通道图像；对多个不同荧光通道的图像进行处理，生成细胞聚类信息，其中，所述细胞聚类信息用于表征肿瘤免疫微环境的免疫状态。

本申请的另一个方面，一种多重免疫组织荧光染色图像的分析装置，其特征在于，包括：获取模块，用于获取原始生物样本数据；处理模块，用于对所述原始生物样本数据进行切片处理，生成若干初始生物切片信息，其中，初始生物切片信息包括目标标志物，目标标志物包括淋系细胞、髓系细胞、间质细胞中的至少一种；对初始生物切片信息进行处理，生成荧光染色切片图像，其中，所述荧光染色切片图像为多个荧光通道的图像，所述荧光染色切片图像为基于多重荧光免疫组织化学技术所生成；对所述荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；对所述对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像；对所述目标荧光染色图像进行处理，生成初始区域信息，其中，所述初始区域信息用于表征肿瘤和/或免疫细胞富集的区域；对所述初始区域信息进行处理，生成多个不同荧光通道的图像，其中，多个不同荧光通道的图像为单荧光通道图像；对多个不同荧光通道的图像进行处理，生成细胞聚类信息，其中，所述细胞聚类信息用于表征肿瘤免疫微环境的免疫状态。

根据本申请的再一个方面，一种电子设备，其特征在于，包括：第一处理器；以及存储器，用于存储所述第一处理器的可执行指令；其中，所述第一处理器配置为经由执行所述可执行指令来执行实现上述的多重免疫组织荧光染色图像的分析方法。

根据本申请的又一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被第二处理器执行时实现上述的多重免疫组织荧光染色图像的分析方法。

根据本申请的又一个方面，提供一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被第三处理器执行时实现上述的多重免疫组织荧光染色图像的分析方法。

本申请所提供的一种多重免疫组织荧光染色图像的分析方法及相关设备，由服务器对多张组织切片进行多重荧光免疫组化技术染色，每张切片标记了与肿瘤免疫相关的特异性细胞组分，通过图层提取、手动特征点选择、仿射变换矩阵的计算及应用一系列步骤，实现了多张切片图像的对齐和融合，间接的实现了更多免疫标志物的检测，能反映出肿瘤免疫微环境中更多种类细胞的空间分布及相互作用，更加全面的刻画肿瘤免疫微环境的特征，能帮助研究人员系统、深入和精准地了解肿瘤免疫微环境的信息。与单一切片的mIHC相比，本发明通过构建融合算法，将来自数张切片的不同标志物标记的mIHC荧光图像，融合为一张图像，整合了多种每张切片各自包含的细胞组分及非细胞组分信息，能够分析它们的空间分布及相互作用，有利于研究者对TIME的细胞组成、功能状态和细胞-细胞相互作用进行更加全面研究。能更好的帮助临床对于肿瘤的诊断、治疗和预测预后，同时也具备高灵敏度、低成本等优势。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

图1示出本申请一实施例所提供的一种多重免疫组织荧光染色图像的分析方法的流程图；

图2示出了本申请一实施例所提供的一种多重免疫组织荧光染色图像的分析装置的结构示意图；

图3示出了本申请一实施例所提供的一种机器学习模型的结构示意图；

图4示出了本申请一实施例所提供的一种存储介质的流程图；

图5示出了本申请一实施例所提供的一种对同一样本不同区域的荧光图像进行融合及细胞分割的流程图；

图6示出了本申请一实施例所提供的一种细胞聚类后的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

下面结合图1来描述根据本申请示例性实施方式的多重免疫组织荧光染色图像的分析方法。需要注意的是，下述应用场景仅是为了便于理解本申请的精神和原理而示出，本申请的实施方式在此方面不受任何限制。相反，本申请的实施方式可以应用于适用的任何场景。

一种实施方式中，本申请还提出一种多重免疫组织荧光染色图像的分析方法及相关设备。如图1所示，该方法应用于服务器，包括：

S101，获取原始生物样本数据。

一种实施方式中，回顾性收集 90 例肺腺癌患者的临床信息、基因检测结果等。具体的，获取患者的年龄、性别、身体质量指数（BMI）等人口学特征，这些信息有助于了解患者群体的基本构成，对于分析不同特征患者的肿瘤免疫微环境差异可能有帮助。吸烟史，吸烟是肺腺癌的一个重要危险因素，其可能影响肿瘤的发生发展以及免疫微环境的状态。 肿瘤的分期信息，包括肿瘤的大小、是否有淋巴结转移以及是否有远处转移等，这对于评估肿瘤的严重程度以及预后非常关键。症状表现，例如咳嗽、咯血、胸痛、呼吸困难等症状的有无及严重程度，这些症状可以反映肿瘤对机体的影响以及疾病的进展情况。治疗史，包括患者是否接受过手术治疗、化疗、放疗等，以及治疗的具体方案和治疗效果，这对于后续研究肿瘤对治疗的反应以及免疫微环境的变化有重要意义。此外，表皮生长因子受体（EGFR）基因突变情况是肺腺癌研究中的重点之一。检测结果可能显示为突变型或野生型，不同的基因型可能对靶向治疗药物的敏感性不同，影响治疗决策和预后。KRAS基因突变情况，KRAS基因在肺腺癌中也有一定的突变频率，其突变状态与肿瘤的生物学行为和治疗反应相关。他相关基因检测，可能还包括检测与肿瘤免疫调节相关的基因，如程序性死亡受体1（PD - 1）及其配体（PD - L1）基因的表达情况，这些基因在肿瘤免疫逃逸机制中起着重要作用，其检测结果对于研究肿瘤免疫微环境以及免疫治疗的应用具有重要价值。检测与肿瘤细胞增殖、凋亡、转移等相关的基因表达变化，这些基因的异常表达可能影响肿瘤的发展进程，通过分析其检测结果可以深入了解肿瘤的生物学特性。

S102，对所述原始生物样本数据进行切片处理，生成若干初始生物切片信息。

一种实施方式中，初始生物切片信息包括目标标志物，目标标志物包括淋系细胞、髓系细胞、间质细胞中的至少一种。根据研究需要，分别选择了淋系细胞（L）、髓系细胞（M）、间质细胞（N）各6种标志物，一共18种标志物。挑选出肿瘤相对富集的FFPE蜡块，进行连续切片，切取三张4um的切片，分别对应L、M、N相关标志物的检测。对 L、M、N三张切片都分别使用OpalTM 7色多重荧光免疫组化试剂盒进行选定的6种不同的标志物的多重染色。例如淋系细胞标志物可能包括CD8a（Cytotoxic T）、CD4（Helper T）等；髓系细胞标志物可能包括CD86（Macrophage I）、CD68（Macrophages）等；间质细胞标志物可能包括Pan -cytokeratin（Keratinocytes）、aSMA（Myofibroblasts, pericytes）等。这样三张切片上就标记了相应的目标标志物，生成了包含目标标志物的初始生物切片信息。

S103，对初始生物切片信息进行处理，生成荧光染色切片图像。

一种实施方式中，荧光染色切片图像为多个荧光通道的图像。在对肺腺癌患者样本的研究中，对 L、M、N 三张切片进行染色处理后，每个 QPTIFF 图像为多层金字塔格式，含有多个不同分辨率大小的图层，每一个图层含有 8 个通道，这些就是荧光通道的图像。

获取预设匹配特征点，使用 matplotlib 库显示创建了一个包含 L、M、N 三个子图的窗口，通过 PointCollector 类处理图像上的鼠标点击事件，再通过 onclick 函数捕捉用户点击图像的位置，并记录这个位置的坐标，即为用户手动选择的特征点。每张图像上选择 5、6 组特征点。例如在对肺腺癌样本切片图像操作时，在 L、M、N 三张图像上分别选取边角、空洞、缺口等具有特征性的点作为特征点。

对荧光染色切片图像进行图层提取处理，生成灰度图像，灰度图像用于对不同类别的荧光染色切片图像进行对齐。具体的，分别提取 L、M、N 类中相同编号图像的第 1 通道（DAPI）作为用于对齐的灰度图。

基于预设匹配特征点和灰度图像对荧光染色切片图像进行处理，生成仿射变换矩阵。方法包括获取仿射变换矩阵的计算公式，计算公式为：

其中，T为仿射变换矩阵；a和d是缩放系数（横向和纵向的缩放）；b和c是剪切系数（用于控制图像的倾斜度）；是平移量，为荧光切片图像中的坐标点；为灰度图像中的坐标点；是我们要解的参数向量，是矩阵M的转置；是的逆矩阵。

具体的，假设在荧光切片图像上选择的三个点坐标为（1，2），（3，4），（5，6），在灰度图像上对应的三个点坐标为（2，3），（4，5），（6，7）。

对于点（1，2）和（2，3），根据公式可知，。

对于点（3，4）和（4，5），可以得出：。

对于点（5，6）和（6，7），可以得出：。

将这些等式写成矩阵形式：

合并为一个大的矩阵方程：

通过求解这个矩阵方程，可以得到的值，从而确定仿射变换矩阵。

对仿射变换矩阵进行处理，生成逆映射和目标插值，包括获取逆映射的计算公式，计算公式为：；

其中，x和y：代表原始图像（即经过对齐处理后希望得到的图像）中的坐标点，这是经过逆映射计算后得到的结果坐标，用于确定目标图像中的点在原始图像中的对应位置；：代表目标图像中的坐标点，通常是未经对齐处理的图像中的点的坐标；这些参数是与仿射变换矩阵相关的系数，它们是通过对仿射变换矩阵求逆得到的。在一定程度上可以理解为与原始图像和目标图像之间的缩放关系相关。例如，如果的值较大，可能意味着在水平方向上目标图像相对于原始图像有较大的拉伸；类似地在垂直方向上起类似作用。与图像的倾斜度有关。它们决定了目标图像在映射到原始图像过程中，在水平和垂直方向上的倾斜程度。是平移量参数。控制水平方向上的平移，控制垂直方向上的平移。如果为正值，目标图像中的点在映射到原始图像时会在水平方向上向右移动相应的单位；如果为正值，会在垂直方向上向上移动相应的单位。

假设已经计算出仿射变换矩阵，其逆矩阵。

对于目标图像中的一个点（3，4），根据逆映射公式；

，可以得出：

。

所以该点在原图像中的对应位置为（0.5，3）。在变换后，某些目标图像中的点可能会映射到原图像的边界之外，这里使用填充一个常数值（通常是0）来处理超出边界的区域。

方法包括获取目标插值的计算公式，计算公式为：

；

其中，分别表示距离的水平和垂直距离。

假设目标像素位置（0.5，3）介于四个邻近像素点（0.2）（1，2）（0，3）（1，3）之间，原图像中像素值 。设，。

根据目标插值的计算公式；

可以得出 。

通过对图像 B 中的每个点都进行上述逆映射和目标插值操作，最终可以得到对齐后的荧光染色切片图像。即图像 B 中的细胞结构与图像 A 中的细胞结构在空间位置上实现了对齐，方便后续的分析和处理，例如图像融合等操作。

S104，对所述荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像。

一种实施方式中，以研究某肿瘤样本为例，从患者处获取组织样本并制成切片。对切片进行荧光染色处理，得到荧光染色切片图像。假设我们有三张切片图像，分别标记为图像A、图像B和图像C，对应不同的细胞标志物染色。 每个荧光染色切片图像为多层金字塔格式，含有多个不同分辨率大小的图层，每一个图层含有8个通道。分别提取图像A、图像B和图像C中相同编号图像的第1通道（DAPI）作为用于对齐的灰度图。例如，从图像A的多层结构中提取第1层的第1通道作为其对应的灰度图，对图像B和图像C也进行同样操作。使用相关图像处理库（如matplotlib库）创建包含三个子图（分别对应图像A、图像B和图像C）的窗口。通过特定的类（如PointCollector类）处理图像上的鼠标点击事件，在每张图像上选择5 - 6组特征点。这些特征点可以是细胞结构的角点、特定细胞区域的中心等易于识别和匹配的位置。例如，在图像A上选择了细胞边界的几个角点作为特征点，在图像B和图像C上也在相应位置附近选择类似的特征点。

使用图像A上选择的点作为基准，将图像B和图像C的点与图像A的点进行匹配。假设图像A上的一个特征点坐标为，图像B上对应的特征点坐标为，图像C上对应的特征点坐标为。通过最小二乘法，根据公式；进行计算。例如，对于图像A和图像B的一组点，有 。通过多组点的计算，可以得到仿射变换矩阵中的参数，从而确定仿射变换矩阵。

计算出仿射变换矩阵T后，求出其逆矩阵。对于目标图像（如图像B和图像C相对于图像A）中的每个点，根据逆映射公式找到其在原图像（如图像A）中的对应位置(x, y)。由于(x, y)可能不是整数坐标，采用双线性插值。假设原图像中像素值为，目标像素位置介于四个邻近像素点(x1, y1), (x2, y1), (x1, y2),(x2, y2)之间，根据目标插值公式 ，其中计算出该位置的像素值。

通过逆映射和插值处理，对图像B和图像C中的每个像素点都进行上述操作，使图像B和图像C与图像A在空间位置上实现对齐，最终生成对齐后的荧光染色切片图像。例如，原本图像B和图像C中细胞的位置与图像A中对应细胞位置不一致，经过处理后，它们在空间上准确对应，便于后续的分析和研究。通过上述逆映射找到目标图像中的每个点在原图像中的对应位置，再通过目标插值确定该位置的像素值，通过这样的逆映射和插值操作，得到初步对齐的图像，即初始荧光染色切片图像，其至少包含了用于表征淋系细胞、髓系细胞、间质细胞或细胞外基质的相关标志物（如上述提到的各种细胞标志物）。基于机器学习模型对初始荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像，具体将在后文进行展开说明。

另一种实施方式中，基于机器学习模型对初始荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像，具体如下：

如图3所示，基于机器学习模型对初始荧光染色切片图像进行处理，生成不同层级的特征图，其中，相同层级的特征图包括不同通道维度的特征信息，初始荧光染色切片图像包括基准图像和目标图像。假设我们正在研究某肿瘤样本的免疫微环境，首先通过对样本进行处理得到了初始荧光染色切片图像，包括用于表征淋系细胞的基准图像（L）和表征髓系细胞、间质细胞的目标图像（M、N）。这些图像是经过前面提到的多重荧光免疫组化染色、扫描、图像对齐（基于逆映射和插值的初步对齐）等步骤得到的。初始荧光染色切片图像为多层金字塔格式，含有多个不同分辨率大小的图层，每个图层有 8 个通道（以实施例中的QPTIFF 图像为例），将这些初始荧光染色切片图像（L、M、N）输入到机器学习模型中。模型中的卷积网络架构，即（CNN） 作为特征提取器开始工作。卷积网络架构，即（CNN） 包含多个卷积块，例如有三个卷积块，每个卷积块内部有不同数量的卷积层（如第一个卷积块有 3 个卷积层，第二个卷积块有 4 个卷积层，第三个卷积块有 5 个卷积层等，具体数量可根据实际模型设计）。

当输入图像经过第一个卷积块时，图像的特征信息被初步提取，生成了第一层特征图，其维度可能为（假设H1=512，W1=512，C1=64，这里的通道数C1是经过卷积操作后得到的新的通道维度，代表了不同的特征信息）。随着图像继续通过后续卷积块，生成了不同层级的特征图，如第二层特征图维度可能变为（假设H2=256，W2=256，C2=128），第三层特征图维度为（假设H3=128，W3=128，C3=256）等。在每个层级的特征图中，都包含了丰富的图像特征信息，例如在表征淋系细胞的基准图像（L）的特征图中，可能包含了细胞形态、分布密度等特征信息；在表征髓系细胞、间质细胞的目标图像（M、N）的特征图中，也包含了相应细胞的各类特征信息，且这些特征信息在不同通道维度上有所体现，如某些通道可能更侧重于细胞轮廓，某些通道可能侧重于细胞内部结构等。

基于机器学习模型分别对不同层级的特征图进行处理，生成若干相同通道维度的特征图。以某一层级的特征图为例（如第二层特征图），其维度为）。模型中的门控块模块，即（MuGI Block） 结构开始发挥作用。门控块模块，即（MuGI Block）将特征图在通道维度上分成两半，即前半部分C2/2=64和后半部分C2/2=64。后半部分经过 sigmoid 激活函数，作为门控机制的权重，然后与另一条流的前半部分特征图进行逐元素乘法操作。假设前半部分特征图的某个区域像素值为[10，20，30]，后半部分经过 sigmoid 激活函数后对应区域的权重值为[0.5，0.6，0.7]，则逐元素乘法后的结果为[5，12，21]。经过这样的门控交互后，特征图的信息得到重新组合和调整，生成了新的特征图（数量与输入的特征图数量相同，通道维度可能保持不变或经过后续处理有所变化，这里假设通道维度仍为128）。同样的操作在其他层级的特征图上也依次进行，从而生成了若干相同通道维度的特征图，这些特征图在不同层级上都经过了模型结构的优化处理，更好地提取和融合了图像中的特征信息，为后续生成变形场做准备。

分别对相同通道维度的特征图进行处理，生成局部变形场和目标损失值，其中，目标损失值包括用于度量两张荧光染色切片图像结构相似性的损失值和平滑损失值。对于经过前面处理得到的相同通道维度的特征图（以某一层级为例），模型进一步通过自注意模块，即（Self-Attention） 和交叉注意模块，即（Cross-Attention） 机制进行处理。

在自注意模块，即（Self-Attention） 中，从特征图中通过线性变换计算 Query、Key 和 Value 矩阵。假设在某个特征图上，通过特定的线性投影矩阵、（这些矩阵是模型在训练过程中学习到的参数），将特征图转换为Query 矩阵Q、Key矩阵K和 Value矩阵V，每个矩阵的维度为（假设）。然后通过计算 Query 和Key 的点积，获取每个像素与其他像素的关系，例如计算得到注意力矩阵后，通过加权计算得到输出特征图（维度仍为）。这个输出特征图与基准图像特征进行残差连接（假设基准图像特征为F，则残差连接后的结果为F+Output），然后经过 LayerNorm 归一化，确保输出数值范围稳定。之后再送入 MLP（多层感知器）进行非线性变换，MLP 包含两个全连接层以及激活函数（如 ReLU 激活函数），进一步提升特征表达能力，最终得到处理后的特征图用于后续计算。

交叉注意模块，即（Cross-Attention）处理流程类似自注意模块，即（Self-Attention），但 Query 和 Key、Value 分别来自基准图像特征、高层特征自注意力的输出、目标图像特征。例如，Query 可能来自基准图像经过自注意模块，即（Self-Attention） 处理后的特征，Key 和 Value 分别来自目标图像特征和高层特征自注意力的输出。同样进行残差连接、LayerNorm 和 MLP 处理后，得到最终用于生成变形场的特征信息。基于这些处理后的特征信息，生成局部变形场。变形场的维度为（假设H=1024，W=1024），其中每个像素点的位移向量表示在 x 和 y 方向上的位移。例如，在某个像素位置（x,y），变形场的值为（dx,dy），表示该像素在 x 方向需要移动个单位，在 y 方向需要移动个dy单位，以实现与基准图像的对齐。

同时，计算目标损失值。目标损失值包括两部分：

用于度量两张荧光染色切片图像结构相似性的损失值。计算，其中是通过变形场变换后的图像（对齐后的图像，如 M 或 N 图像经过变形场变换后与基准图像 L 对齐后的图像），是基准图像（L 图像）。SSIM 是一种衡量图像结构相似性的指标，取值范围为 0 到 1，值越高表示结构相似性越高。通过计算，模型可以尽量使对齐后的图像与基准图像在结构上更加相似，以优化图像对齐效果。

平滑损失值，其中是位置p的变形场位移向量，分别表示变形场在 x 和y 方向上的梯度。平滑损失用于约束生成的变形场，使其在空间上平滑，避免突兀的变形。例如，如果某个区域的变形场在 x 方向上的梯度变化很大，即相邻像素的位移变化剧烈，那么值会相应增大，促使模型调整变形场，使变形更加平滑。

对局部变形场和目标损失值进行处理，生成目标变形场。对于每个切片（如 M 切片和 N 切片相对于基准 L 切片），在计算得到局部变形场和目标损失值后，模型根据损失值反向传播更新网络参数。例如，如果其中是用于平滑损失的权重参数，假设较大，说明当前的变形场效果不理想，模型通过反向传播调整生成变形场的相关参数（如卷积网络架构，即（CNN）中的卷积核参数、Attention 机制中的投影矩阵等），以优化变形场。

在处理重叠区域时，由于不同切片计算得到的局部变形场可能存在细微差异，采用加权平均法对重叠区域的变形场进行融合。例如，在重叠区域内，对于某个像素位置，根据其到重叠区域中心的距离计算权重（假设距离中心越近权重为 1，越远权重逐渐减小到0.5 等），然后将不同切片在该位置的变形场值进行加权求和，得到融合后的变形场值。这样可以保证重叠区域的变形场平滑过渡，避免出现突兀的位移跳跃。

当所有切片的局部变形场都经过优化和融合后，将这些切片变形场拼接回原图位置，形成一张全局变形场。例如，将处理后的 M 切片和 N 切片的变形场与基准 L 切片的信息整合，得到覆盖整张图像的全局变形场，这个全局变形场描述了从目标图像（未对齐图像）到基准图像的每个像素点在 x、y 方向的变形，使得目标图像（M、N）能够准确地对齐到基准图像（L）。

机器学习模型能够实现从组织级别到细胞级别的精确配准，通过特征点选择、仿射变换矩阵计算以及变形场的生成与优化，提高了图像对齐的精度，尤其是在细胞层面的对齐。利用卷积神经网络（卷积网络架构，即（CNN））作为特征提取器，模型能够从不同分辨率的图像中提取多层次的特征信息，这有助于更全面地理解和分析细胞的结构和特征。模型包含门控块模块，即（MuGI Block）、自注意模块，即（Self-Attention）、交叉注意模块，即（Cross-Attention）和拼接块模块，即（Concat Block）等结构，这些结构能够处理和优化特征图，生成更精确的局部变形场，从而提高图像对齐的质量。

在处理图像重叠区域时，模型采用加权平均法对变形场进行融合，确保了重叠区域的变形场平滑过渡，避免了突兀的位移跳跃。机器学习模型能够整合多个荧光通道的信息，全面分析细胞的多种特征，这对于理解细胞的不同标志物表达和功能状态至关重要。通过Attention机制，模型能够聚焦于图像中的关键区域和特征，增强对重要细胞结构和关系的关注，提高了配准和分析的准确性。模型能够通过计算相关系数值、结构相似性指数、样本集合相似值、均方误差值和峰值信噪比等指标，对预设荧光染色图像的质量进行评估，确保生成的目标荧光染色图像符合要求。

基于细胞亚型信息，模型可以采用机器学习聚类算法对样本数据进行聚类分析，从而揭示不同细胞亚型在肿瘤免疫微环境中的分布情况，有助于表征肿瘤免疫微环境的免疫状态。机器学习模型能够帮助研究人员更全面地刻画肿瘤免疫微环境的特征，包括细胞组成、功能状态和细胞-细胞相互作用，这对于肿瘤的诊断、治疗和预后具有重要意义。与单一切片的mIHC相比，本发明通过构建融合算法，将来自数张切片的不同标志物标记的mIHC荧光图像融合为一张图像，整合了多种每张切片各自包含的细胞组分及非细胞组分信息，能够分析它们的空间分布及相互作用，有利于研究者对TIME的细胞组成、功能状态和细胞-细胞相互作用进行更加全面研究，同时具备高灵敏度、低成本等优势。综上所述，机器学习模型在多重免疫组织荧光染色图像分析中提供了一种高效、精确且全面的方法，能够提高图像处理的质量和深度，为肿瘤免疫微环境的研究提供了强有力的工具。

基于目标变形场对初始荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像。基于目标变形场对初始荧光染色切片图像（M、N 图像）进行处理，将目标图像中的像素根据变形场中的位移向量进行移动，从而实现精确对齐。例如，对于 M 图像中的某个像素，其在变形场中的位移向量为，则将该像素移动到新的位置。经过这样的处理，M、N 图像与基准图像 L 实现了精确对齐，得到了对齐后的荧光染色切片图像。这些对齐后的图像能够更准确地反映肿瘤免疫微环境中不同细胞组分（如淋系细胞、髓系细胞、间质细胞等）的空间分布和相互作用关系，为后续的细胞分割、聚类分析等研究提供了更可靠的数据基础。在实施例中，经过这样的处理后，可以更清晰地观察到不同细胞亚群在图像中的分布情况，如表达 CD8a 的 Cytotoxic T 细胞、表达 CD68 和 CD206 的 Macrophage II 细胞、表达 CD31 的 Endothelial cells 等的分布和相互关系，有助于深入研究肿瘤免疫微环境的特征。

S105，对所述对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像。

一种实施方式中，获取对齐后的荧光染色切片图像的通道信息，在对肺腺癌样本的研究中，经过前面的处理得到了对齐后的L、M、N三张荧光染色切片图像。每张图像都有8个通道信息。参考图4和图5所示，例如，L图像的8个通道可能分别对应不同的标志物染色情况，如通道1是DAPI染色用于显示细胞核，通道2可能是某种细胞表面标志物的染色等。基于不同对齐后的荧光染色切片图像的通道信息分别进行顺序堆叠处理，生成预设荧光染色图像。对L、M、N三张对齐后的图像进行顺序堆叠处理。具体是对每张图像位置处的8个通道进行顺序堆叠，先取L图像的8个通道，然后是M图像的8个通道，最后是N图像的8个通道，这样最终通道数为24，生成了预设荧光染色图像。

基于预设校验规则对预设荧光染色图像进行处理，生成目标荧光染色图像。预设校验规则包括相关系数、Dice系数、均方误差、峰值信噪比、结构相似性指数等。以相关系数为例，计算对齐后的图像与参考图像之间的像素值相似度。相关系数的取值范围在[-1,1]之间，值越接近1，表示图像之间的线性关系越强。通过计算这些指标，评估预设荧光染色图像的质量，如果指标符合要求，则该预设荧光染色图像就是目标荧光染色图像。如果某些指标不符合要求，可能需要对前面的处理步骤进行调整，重新生成预设荧光染色图像并进行校验，直到得到符合要求的目标荧光染色图像。

在对 mIHC 切片进行图像配准过程中，采用基于逆映射和目标插值以及机器学习模型（包含卷积网络架构，即（CNN）、门控块模块，即（MuGI Block）、拼接块模块，即（ConcatBlock）、Attention 机制等结构）的方法，能够实现从组织级别到细胞级别的精确配准。通过特征点选择、仿射变换矩阵计算（基于最小二乘法）、特征提取、变形场生成与优化（通过自注意模块，即（Self-Attention） 和交叉注意模块，即（Cross-Attention） 机制）等一系列操作，在处理重叠区域时采用加权平均法等精细处理方式，使得图像配准精度更高，尤其是在细胞层面能够实现精准对齐，保证了后续分析的准确性。mIHC（多重免疫组织化学）切片融合能够在同一部位同时标记多种不同抗体（或抗原），并对其表达进行对比和观测。例如在研究肿瘤免疫微环境时，可以同时标记如淋系细胞（CD8a、CD4 等）、髓系细胞（CD86、CD68 等）、间质细胞（Pan - cytokeratin、αSMA 等）相关的多种标志物，清晰地展示不同细胞类型及其标志物在组织中的分布和相互关系，为深入研究肿瘤微环境的细胞组成和功能提供丰富信息。可以对多种标志物的表达强度进行客观判读，通过不同荧光标记或染色强度来定量分析各种细胞亚群的丰度和分布变化，有助于更精准地研究细胞间的相互作用以及与疾病进展的关联。

此外，针对背景技术中所描述的 IHC切片融合在细胞层面配准精度相对较低的分析如下：

1、配准算法原理差异：

mIHC切片融合的配准算法：mIHC切片融合采用了基于逆映射和目标插值以及机器学习模型的方法。在计算仿射变换矩阵时，通过手动选择特征点（如在图像上选择边角、空洞、缺口等具有特征性的点），利用最小二乘法计算矩阵参数，这种方式能够更精准地捕捉图像中细胞结构的特征关系，尤其对于细胞层面的细微特征定位更准确。例如，在对肿瘤免疫微环境研究中，对于表达不同标志物的细胞分布特征点的选取，可以更细致地反映细胞间的空间关系。 机器学习模型中的卷积网络架构，即（CNN）作为特征提取器，通过多个卷积块对图像进行多层次特征提取，能够获取不同分辨率下细胞的丰富特征信息，从宏观到微观层面逐步细化对细胞结构的理解。门控块模块，即（MuGI Block）结构通过门控交互优化特征图，自注意模块，即（Self-Attention）和交叉注意模块，即（Cross-Attention）机制进一步处理特征图，生成局部变形场时能更精准地考虑细胞间的相对位置关系，通过计算Query、Key和Value矩阵，获取每个像素与其他像素的关系，从而对细胞结构的对齐更精确。例如，在处理细胞密集区域时，能够准确区分不同细胞类型的边界和相互关系，提高配准精度。

IHC切片融合的配准算法：IHC切片融合主要采用基于SIFT特征匹配算法的双次多分辨率金字塔模型。虽然先在高层分辨率低的图像上进行配准可以快速得到初步的配准参数，但高层图像相对丢失了部分细胞层面的细节信息，可能导致在将配准参数应用到底层分辨率高的大图时，无法完全精准地对应细胞层面的细微结构。例如，一些细胞的微小细胞器结构或细胞间的微弱连接结构在高层图像中可能无法清晰体现，进而影响配准精度。SIFT特征匹配算法在处理细胞图像时，主要基于图像的局部特征点进行匹配，对于细胞整体结构和细胞间复杂关系的理解相对有限。与mIHC中复杂的机器学习模型相比，它缺乏对细胞特征的多层次、多维度分析能力，难以精确捕捉细胞间细微结构的变化和关系，在细胞密集或结构复杂区域可能出现配准偏差。

2、处理细胞特征信息能力不同：

mIHC切片融合的特征处理能力： mIHC切片融合在处理过程中，通过机器学习模型能够充分利用图像中的通道信息。例如，荧光染色切片图像的每个图层含多个通道，不同通道可以对应不同细胞标志物的染色情况，模型可以整合这些通道信息，全面分析细胞的多种特征。在生成变形场时，能够综合考虑不同标志物表达细胞的位置和形态变化，使配准过程更贴合细胞的实际结构和功能状态。例如，在分析肿瘤免疫微环境中免疫细胞和肿瘤细胞的相互作用时，可以同时依据多种免疫细胞标志物和肿瘤细胞标志物的通道信息，实现更精准的配准。模型中的Attention机制能够聚焦于细胞图像中的关键区域和特征，增强对重要细胞结构和关系的关注。例如，在区分肿瘤细胞和周围免疫细胞时，能够突出显示免疫细胞与肿瘤细胞的接触区域等关键部位，从而在配准过程中更准确地对齐这些重要结构，提高细胞层面配准的准确性。

IHC切片融合的特征处理能力：IHC切片融合在利用SIFT特征匹配算法时，主要关注图像的局部特征点，对细胞整体特征和多通道信息的综合利用能力相对较弱。它可能无法充分挖掘细胞不同标志物染色所反映的复杂细胞状态和相互关系，在配准过程中缺乏对细胞全面特征的考量，容易忽略细胞间细微结构的差异，导致配准精度在细胞层面受限。由于缺乏像mIHC中那样复杂的模型结构来整合和优化特征信息，IHC切片融合在处理细胞间复杂结构关系时能力不足。例如，在面对细胞间多种类型的相互作用（如免疫突触形成、细胞间信号传导相关的结构关系）时，无法准确捕捉和利用这些信息来优化配准，难以满足对细胞间细微结构和关系进行精确分析的需求。

3、应对复杂细胞结构和重叠区域的能力差异：

mIHC切片融合的应对策略：在处理复杂细胞结构和重叠区域时，mIHC切片融合通过机器学习模型中的多种结构协同工作。例如，在生成局部变形场后，对于重叠区域采用加权平均法进行融合，权重根据像素到重叠区域中心的距离计算，这种方式能够更平滑地处理重叠区域细胞结构的过渡，避免因配准不当导致的细胞结构扭曲或错位。在面对细胞结构复杂的区域，如肿瘤组织与周围免疫细胞浸润区域，模型能够通过多层次特征提取和Attention机制准确区分不同细胞类型的边界和相互关系，确保配准精度。

IHC切片融合的应对策略：IHC切片融合在处理重叠区域时，虽然基于双次多分辨率金字塔模型有一定的配准效果，但相对而言，其处理方式可能不够精细。在复杂细胞结构区域，如存在多种细胞类型高度混合且细胞形态不规则的情况下，SIFT特征匹配算法可能无法充分适应细胞结构的多样性和复杂性，导致在细胞层面的配准出现偏差，无法准确还原细胞间的真实结构关系，从而影响对细胞间细微结构和关系的精确分析。

另一种实施方式中，基于预设校验规则对预设荧光染色图像进行处理，生成目标荧光染色图像，包括：

获取预设参考图像，其中，预设参考图像用于表征其他荧光染色图像的图像信息。在对肺腺癌样本研究中，可能选择某一张经过处理且质量较好、能代表整体特征的荧光染色切片图像作为预设参考图像。例如，选择经过对齐和初步校验的 L 图像作为预设参考图像，它可以表征其他荧光染色图像（如 M 图像和 N 图像）的图像信息。

对预设荧光染色图像和预设参考图像进行处理，生成相关系数值和结构相似性指数，其中，相关系数值用于表征预设荧光染色和预设参考图像的线性关系，结构相似性指数用于表征预设荧光染色和预设参考图像在结构、亮度、对比度等方面相似度的指标；

对预设荧光染色图像（假设是融合后的 L、M、N 三张图像堆叠后的图像）和预设参考图像（L 图像）进行处理。相关系数用于衡量两个变量之间的线性关系。对于图像来说，相关系数可用于衡量对齐后的图像与参考图像之间的像素值相似度。相关系数的取值范围在[-1，1]之间，值越接近 1，表示图像之间的线性关系越强。假设融合后的图像在某一像素位置的灰度值为，参考图像在对应位置的灰度值为，通过公式计算相关系数值。

结构相似性指数计算：结构相似性指数是一种衡量两幅图像在结构、亮度、对比度等方面相似度的指标。假设融合后的图像的平均值为，方差为参考图像的平均值为，方差为，协方差为xy，通过公式计算结构相似性指数。

样本集合相似值计算：样本集合相似值用于表征预设荧光染色图像与初始生物切片信息的相似度。假设初始生物切片信息对应的理想图像在某一像素位置的灰度值为 ，预设荧光染色图像在对应位置的灰度值为，通过相似性度量方法（如 Dice系数方法，对于二值图像可采用，这里需要对图像进行适当处理转化为二值图像形式）计算样本集合相似值。

均方误差值计算：均方误差值用于表征预设荧光染色图像与初始生物切片信息之间像素值差异的平均平方值。通过公式计算均方含量误码差值。

峰值信噪比计算：峰值信噪比用于表征预设染色荧光图像的图像质量。假设图像的最大像素值为L，均方误差为MSE，通过公式计算峰值信噪比。

方法包括获取相关系数值的计算公式，计算公式为：

其中，分别表示预设荧光染色图像和预设参考图像在像素i处的灰度值，是图像的平均灰度值，n是图像中的像素总数；分子部分的代表了图像灰度值的协方差，分母部分代表两个图像的标准差的乘积；

方法包括获取结构相似性指数的计算公式，计算公式为：

其中，和分别是预设荧光染色图像和预设参考图像的平均值，表示图像的亮度信息；和分别是预设荧光染色图像和预设参考图像的方差，表示图像的对比度信息；是预设荧光染色图像和预设参考图像之间的协方差，表示图像的结构信息；和代表用于稳定分母和分子的常数。

对预设荧光染色图像进行处理，生成样本集合相似值、均方误差值和峰值信噪比，其中，样本集合相似值用于表征预设荧光染色图像与初始生物切片信息的相似度，均方误差值用于表征预设荧光染色图像与初始生物切片信息之间像素值差异的平均平方值，峰值信噪比用于表征预设染色荧光图像的图像质量；

对相关系数值、结构相似性指数、样本集合相似值、均方误差值和峰值信噪比进行处理，生成图像对齐指标结果；

方法包括获取样本集合相似值的计算公式，计算公式为：

其中，A和B是预设荧光染色图像和预设参考图像的像素集合，分别是预设荧光染色图像和预设参考图像中像素为1的总数（即两个图像的“白色”像素数），是两个图像中像素为1的交集部分的像素数；

方法包括获取均方误差值的计算公式，计算公式为：

其中，n是图像中的像素总数，分别表示预设荧光染色图像和预设参考图像在像素i处的灰度值，代表所有像素点的平方误差之和；

方法包括获取峰值信噪比的计算公式，计算公式为：

其中，L是图像的最大像素值，MSE是均方误差值，L表示信号的最大值，表示图像的平均误差；基于图像对齐指标结果生成目标荧光染色图像。

通过综合多个评估指标，可以更全面地评估图像对齐的质量，确保对齐后的图像在结构、亮度、对比度等方面具有高度一致性，从而提高后续分析的准确性。准确的图像对齐指标结果可以减少因对齐误差导致的误判，提高后续细胞聚类、细胞亚型分析等步骤的可靠性，通过对齐指标结果的反馈，可以调整和优化图像处理流程中的参数，如特征点的选择、仿射变换矩阵的计算等，以获得更好的对齐效果。结合多种评估指标可以全面评估图像质量，包括线性关系、结构相似性、像素值差异、图像质量等，为图像处理提供更全面的指导。显著提高多重免疫组织荧光染色图像分析的准确性、可靠性和效率。

S106，对所述目标荧光染色图像进行处理，生成初始区域信息。

一种实施方式中，初始区域信息用于表征肿瘤和/或免疫细胞富集的区域。以对肺腺癌样本研究得到的目标荧光染色图像为例，该图像经过前面一系列处理步骤（包括切片染色、图像对齐、融合及校验等），已经包含了多种细胞标志物的染色信息。 使用相关工具（如Qupath（v0.4.4））对目标荧光染色图像进行分析。根据样本的实际情况和研究设计要求，手动从样本图像的合适位置选择一定数量（如肿瘤学和免疫学研究中往往会选择肿瘤富集或者免疫细胞富集的5 - 10个区域）的1mm²的区域作为初始区域信息。例如，在图像中可以通过观察细胞的染色强度和分布情况来识别肿瘤富集区域。肿瘤细胞可能会对某些标志物有特定的染色反应，表现出较强的荧光信号。免疫细胞富集区域可能会围绕在肿瘤细胞周围，或者在某些特定的组织结构附近，其对相关免疫细胞标志物的染色也较为明显。通过仔细观察和手动选择这些区域，就可以生成用于表征肿瘤和/或免疫细胞富集的初始区域信息。

S107，对所述初始区域信息进行处理，生成多个不同荧光通道的图像。

一种实施方式中，多个不同荧光通道的图像为单荧光通道图像。以从肺腺癌样本目标荧光染色图像中选取的肿瘤富集区域作为初始区域信息为例。这个区域包含了多种细胞标志物的染色信息，是一个综合的区域信息。由于初始区域信息对应的图像是包含多个荧光通道信息的综合图像。对于每个荧光通道，我们可以将其分离出来，生成单荧光通道图像。例如，如果初始区域信息对应的图像有8个荧光通道（通道1可能是DAPI染色用于显示细胞核，通道2可能是某种细胞表面标志物染色等），我们可以通过图像处理软件或算法，将每个通道的信息单独提取出来，得到8个单荧光通道图像。

图像处理软件是一种专门用于对图像进行各种操作和分析的工具。它通常具有图形用户界面（GUI），允许用户直观地进行操作。例如，在上述从综合图像中提取单荧光通道图像的过程中，软件可能提供菜单选项或工具按钮来实现通道分离的功能。常用软件示例：Adobe Photoshop：这是一款广泛使用的图像处理软件。它具有强大的图像编辑功能，包括色彩调整、图像合成、通道操作等。在提取单荧光通道图像时，可以利用其通道面板，通过选择特定通道并进行复制或保存操作来获取单通道图像。ImageJ：这是一款免费的开源图像处理软件，在生物医学图像处理领域应用广泛。它提供了大量的图像处理工具和插件。对于提取单荧光通道图像，可以使用其内置的通道分离功能，通过简单的操作步骤即可实现。图像处理算法是一系列用于处理图像数据的数学方法和计算步骤。这些算法可以实现图像的增强、分割、特征提取等功能。在上述情境中，算法用于从包含多个通道信息的图像中准确地分离出单个通道的信息。

以基于矩阵运算的通道分离算法进行示例说明：图像数据通常以矩阵的形式存储。对于一个具有多个通道的图像，每个通道的数据可以看作是一个二维矩阵。通过对图像矩阵进行特定的运算，可以提取出每个通道的矩阵，从而得到单荧光通道图像。例如，如果图像是一个RGB图像（有红、绿、蓝三个通道），可以通过对整个图像矩阵按照通道维度进行切片操作，得到三个单独的二维矩阵，分别对应红、绿、蓝三个通道的图像。以基于滤波的通道分离算法进行示例说明：这种算法利用滤波技术来分离通道。例如，可以设计一个滤波器，该滤波器只允许特定通道的频率成分通过，而抑制其他通道的频率成分。通过对图像应用这种滤波器，可以得到单荧光通道图像。这种算法在处理具有复杂频率特性的荧光通道图像时可能会有较好的效果。本申请不对具体的图像处理软件或算法进行限定，可根据实际需求进行选择。每个单荧光通道图像只显示该通道对应的标志物染色情况，更便于对特定标志物在该区域的表达情况进行分析。

S108，对多个不同荧光通道的图像进行处理，生成细胞聚类信息。

一种实施方式中，对多个不同荧光通道的图像进行矫正处理，生成目标区域信息，其中，目标区域信息用于表征初始区域信息所对应的细胞表达数据。以从肺腺癌样本中得到的8个不同荧光通道图像为例，每个通道图像对应不同的细胞标志物染色情况。例如，通道1可能是DAPI染色用于显示细胞核，通道2可能是某种免疫细胞表面标志物染色等。使用R（v4.2）等工具对这些不同荧光通道的图像进行矫正处理。对各marker表达量最高的1%和最低的1%的数据进行矫正处理，同时将每个初始区域信息（如选取的肿瘤富集区域）的样本信息与细胞分割信息进行拼接，从而得到目标区域信息，它能够表征初始区域信息所对应的细胞表达数据。

对目标区域信息进行处理，生成细胞亚型信息。使用CELESTA对每种标志物的表达量的阳性概率进行预测，得到每个细胞在不同蛋白表达量上的阳性概率值。将这些概率值作为每个细胞的特征，把特征相似的细胞合并，从而将整个样本划分为不同的细胞亚群，生成细胞亚型信息。例如，可能会划分出表达CD8a的Cytotoxic T细胞亚群、表达CD68和CD206的Macrophage II亚群等。以下是细胞亚群的示例说明：从肺腺癌样本的研究中，经过对目标区域信息（包含矫正处理后多个不同荧光通道图像所对应的细胞表达数据）进行分析。CD8a - Cytotoxic T细胞亚群划分，使用CELESTA对细胞表达数据进行处理，预测每种标志物的表达量的阳性概率。对于CD8a标志物，当某个细胞的CD8a表达量的阳性概率达到一定阈值（例如0.5）时，就将该细胞划分到表达CD8a的Cytotoxic T细胞亚群。这些细胞可能在图像中呈现出特定的分布特征，比如在肿瘤组织周围相对集中，可能与肿瘤细胞发生免疫反应相关。CD68和CD206Macrophage II亚群划分：同样通过CELESTA预测CD68和CD206标志物的表达量的阳性概率。当一个细胞同时满足CD68和CD206表达量的阳性概率都达到相应阈值（例如分别为0.4和0.4）时，将该细胞划分到表达CD68和CD206的Macrophage II亚群。在图像中，这些细胞可能分布在肿瘤组织内部或周围，参与肿瘤免疫微环境的调节，可能具有吞噬肿瘤细胞碎片或分泌相关免疫调节因子的功能。

通过划分这些细胞亚群，可以更好地了解肿瘤免疫微环境中不同细胞类型的分布和功能状态。例如，了解Cytotoxic T细胞亚群的数量和活性情况，可以评估机体对肿瘤细胞的免疫杀伤能力；了解Macrophage II亚群的特征，可以探究其在肿瘤免疫中的作用是促进肿瘤生长（如通过分泌某些促进肿瘤细胞增殖的因子）还是抑制肿瘤生长（如通过吞噬肿瘤细胞）。

对细胞亚型信息进行处理，生成细胞聚类信息。基于细胞亚型信息，采用基于机器学习的聚类算法（如基于图论的大规模数据聚类算法（PhenoGraph））对样本数据进行聚类分析，将整个样本划分为不同的细胞亚型组合，这些组合信息即为细胞聚类信息。例如，通过聚类分析可能得到不同细胞亚型在肿瘤免疫微环境中的分布情况，从而表征肿瘤免疫微环境的免疫状态。比如，发现肿瘤周围有较多的免疫抑制细胞亚群聚集，或者某种免疫激活细胞亚群在特定区域的分布特征等。

假设我们从对肺腺癌样本的研究中得到了以下几种细胞亚型信息：表达CD8a的Cytotoxic T细胞亚群，其细胞数量为，每个细胞具有相关的特征向量（例如基于不同标志物表达量预测的阳性概率值等）。表达CD68和CD206的Macrophage II亚群，细胞数量为。表达PD - 1的免疫检查点细胞亚群，细胞数量为等。

对于每个细胞亚型，计算细胞之间的相似性。例如，对于两个Cytotoxic T细胞，根据它们的特征向量（如标志物表达概率等）计算相似性度量值（如欧几里得距离的倒数等）。将所有细胞亚型的细胞看作图的节点，细胞之间的相似性作为边的权重，构建一个相似性图。使用PhenoGraph算法在构建的相似性图上进行社区发现。该算法会根据边的权重将节点划分到不同的社区，也就是不同的细胞聚类。例如，可能会发现一些Cytotoxic T细胞和某些Macrophage II细胞因为它们之间的相互作用（相似性较高）被划分到同一个聚类中，尽管它们属于不同的细胞亚型。

如图6所示，经过聚类分析后，得到不同的细胞聚类。例如，聚类1可能包含部分Cytotoxic T细胞、一些Macrophage II细胞和少量表达PD - 1的免疫检查点细胞；聚类2可能主要由另一些Cytotoxic T细胞和一些其他细胞亚型组成。这些聚类信息即为细胞聚类信息，它反映了不同细胞亚型在肿瘤免疫微环境中的组合情况。从细胞聚类信息中分析肿瘤免疫微环境的免疫状态。如果在肿瘤周围发现较多的聚类包含免疫抑制细胞亚群（如表达PD - 1的细胞较多且与其他免疫抑制相关细胞聚集在一起），则表明肿瘤免疫微环境可能处于免疫抑制状态，肿瘤细胞可能更容易逃避免疫攻击。相反，如果发现某个区域有较多的聚类包含免疫激活细胞亚群（如Cytotoxic T细胞和相关激活辅助细胞聚集在一起），则说明该区域可能具有较强的免疫活性，对肿瘤细胞的杀伤能力可能较强。

本申请对多张组织切片进行多重荧光免疫组化技术染色，每张切片标记了与肿瘤免疫相关的特异性细胞组分，通过图层提取、手动特征点选择、仿射变换矩阵的计算及应用一系列步骤，实现了多张切片图像的对齐和融合，间接的实现了更多免疫标志物的检测，能反映出肿瘤免疫微环境中更多种类细胞的空间分布及相互作用，更加全面的刻画肿瘤免疫微环境的特征，能帮助研究人员系统、深入和精准地了解肿瘤免疫微环境的信息。

基于成熟的mIHC技术，将连续的数张组织切片使用不同的标记物进行标记，在获取相应的数张荧光图像后，使用机器学习构建了一个mIHC图像融合算法模型，通过图层提取、手动特征点选择、仿射变换矩阵的计算及应用一系列步骤，实现了多张切片图像的对齐和融合，在细胞分割和聚类后能将mIHC标记的数个标志物扩展数倍为数十个标志物，从而允许对TIME的细胞组成、功能状态和细胞-细胞相互作用进行更加全面研究。与单一切片的mIHC相比，本发明通过构建融合算法，将来自数张切片的不同标志物标记的mIHC荧光图像，融合为一张图像，整合了多种每张切片各自包含的细胞组分及非细胞组分信息，能够分析它们的空间分布及相互作用，有利于研究者对TIME的细胞组成、功能状态和细胞-细胞相互作用进行更加全面研究。能更好的帮助临床对于肿瘤的诊断、治疗和预测预后，同时也具备高灵敏度、低成本等优势。

基于多重荧光免疫组织化学（mIHC）技术生成的荧光染色切片图像，是一种能够在同一张组织切片上同时标记多种不同抗体（或抗原）的技术。这种技术允许研究者观察多种蛋白质在同一组织环境中的表达和分布情况，从而更全面地理解生物学过程或病理状态。假设我们有一个肺腺癌患者的生物样本，我们希望研究肿瘤微环境中不同免疫细胞亚群（如CD8阳性的细胞毒性T细胞、CD68阳性的巨噬细胞）与肿瘤细胞（可能通过Ki-67标记来识别其增殖状态）的空间关系。

首先，从患者的肿瘤样本中切取若干薄片（例如4微米厚的切片），使用特定的抗体对切片进行染色。例如，我们可能使用以下抗体组合：CD8（识别细胞毒性T细胞）、CD68（识别巨噬细胞）、Ki-67（识别增殖中的细胞）、DAPI（用于核染色，以便观察细胞核）。使用荧光显微镜对染色后的切片进行扫描，获取包含多个荧光通道的图像。每个通道对应一种特定的荧光标记，能够揭示特定抗体的分布情况。

由于切片可能会因为处理过程中的变形或切片厚度不一致而导致空间错位，使用机器学习模型对图像进行对齐，确保不同通道的图像能够准确对应到同一组织区域。将对齐后的多个通道图像融合，生成一个综合图像，其中包含了所有标记物的信息。这样，我们可以在同一张图像上直观地看到不同细胞类型和肿瘤细胞的空间分布。利用机器学习算法对融合后的图像进行细胞聚类分析，识别不同的细胞亚群，并分析它们在肿瘤微环境中的分布和相互作用。

通过这种多重荧光染色和图像分析技术，我们发现：CD8阳性的细胞毒性T细胞主要集中在肿瘤边缘，可能参与对肿瘤细胞的免疫监视。CD68阳性的巨噬细胞在肿瘤内部和周围都有分布，可能参与肿瘤微环境的炎症反应。Ki-67的高表达区域指示肿瘤细胞的增殖活跃区域。从而帮助研究者更深入地理解肿瘤免疫微环境的复杂性。

一种实施方式中，如图2所示，本申请还提供一种多重免疫组织荧光染色图像的分析装置，包括：

获取模块201，用于获取原始生物样本数据；

处理模块202，用于对所述原始生物样本数据进行切片处理，生成若干初始生物切片信息，其中，初始生物切片信息包括目标标志物，目标标志物包括淋系细胞、髓系细胞、间质细胞中的至少一种；对初始生物切片信息进行处理，生成荧光染色切片图像，其中，所述荧光染色切片图像为多个荧光通道的图像，所述荧光染色切片图像为基于多重荧光免疫组织化学技术所生成；对所述荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；对所述对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像；对所述目标荧光染色图像进行处理，生成初始区域信息，其中，所述初始区域信息用于表征肿瘤和/或免疫细胞富集的区域；对所述初始区域信息进行处理，生成多个不同荧光通道的图像，其中，多个不同荧光通道的图像为单荧光通道图像；对多个不同荧光通道的图像进行处理，生成细胞聚类信息，其中，所述细胞聚类信息用于表征肿瘤免疫微环境的免疫状态。

本申请中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于评估多重免疫组织荧光染色图像的分析方法、电子装置、电子设备、以及可读存储介质实施例而言，由于其基本相似于上述所述的多重免疫组织荧光染色图像的分析方法实施例，所以描述的比较简单，相关之处参见上述所述的多重免疫组织荧光染色图像的分析方法实施例的部分说明即可。

Claims (10)

1.一种多重免疫组织荧光染色图像的分析方法，其特征在于，包括：

获取原始生物样本数据；

对所述原始生物样本数据进行切片处理，生成若干初始生物切片信息，其中，初始生物切片信息包括目标标志物，目标标志物包括淋系细胞、髓系细胞、间质细胞中的至少一种；

对初始生物切片信息进行处理，生成荧光染色切片图像，其中，所述荧光染色切片图像为多个荧光通道的图像，所述荧光染色切片图像为基于多重荧光免疫组织化学技术所生成；

对所述荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；

对所述对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像；

对所述目标荧光染色图像进行处理，生成初始区域信息，其中，所述初始区域信息用于表征肿瘤和/或免疫细胞富集的区域；

对所述初始区域信息进行处理，生成多个不同荧光通道的图像，其中，多个不同荧光通道的图像为单荧光通道图像；

对多个不同荧光通道的图像进行处理，生成细胞聚类信息，其中，所述细胞聚类信息用于表征肿瘤免疫微环境的免疫状态。

2.如权利要求1所述的方法，其特征在于，对所述荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像，包括：

获取预设匹配特征点；

对所述荧光染色切片图像进行图层提取处理，生成灰度图像，所述灰度图像用于对不同类别的荧光染色切片图像进行对齐；

基于预设匹配特征点和所述灰度图像对所述荧光染色切片图像进行处理，生成仿射变换矩阵；

对所述仿射变换矩阵进行处理，生成逆映射和目标插值；

基于所述逆映射和所述目标插值对所述荧光染色切片图像进行处理，生成初始荧光染色切片图像，其中，所述初始荧光染色切片图像为初步对齐的荧光染色切片图像，所述初始荧光染色切片至少包括用于表征淋系细胞、髓系细胞、间质细胞或细胞外基质的任意一种标志物；

基于机器学习模型对所述初始荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；

所述方法包括获取仿射变换矩阵的计算公式，所述计算公式为：

；

；

；

其中，T为仿射变换矩阵；a和d是缩放系数，用于横向和纵向的缩放；b和c是剪切系数，用于控制图像的倾斜度；和是平移量；和为荧光切片图像中的坐标点；和为灰度图像中的坐标点；是待解的参数向量；是矩阵M的转置；是的逆矩阵；

所述方法包括获取逆映射的计算公式，所述计算公式为：

；

其中，x和y代表原始图像中的坐标点；和代表目标图像中的坐标点；这些参数是与仿射变换矩阵相关的系数；和是平移量参数；

所述方法包括获取目标插值的计算公式，所述计算公式为：

；

其中，分别表示距离的水平和垂直距离。

3.如权利要求2所述的方法，其特征在于，基于机器学习模型对所述初始荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像，包括：

基于机器学习模型对所述初始荧光染色切片图像进行处理，生成不同层级的特征图，其中，相同层级的特征图包括不同通道维度的特征信息，初始荧光染色切片图像包括基准图像和目标图像；

基于机器学习模型分别对不同层级的特征图进行处理，生成若干相同通道维度的特征图；

分别对相同通道维度的特征图进行处理，生成局部变形场和目标损失值，其中，所述目标损失值包括用于度量两张荧光染色切片图像结构相似性的损失值和平滑损失值；

对所述局部变形场和所述目标损失值进行处理，生成目标变形场；

基于所述目标变形场对所述初始荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；

所述机器学习模型包括用于获取目标损失值的计算公式，所述计算公式为：

；

；

其中，是位置P的变形场位移向量，和分别标识变形场在x和y方向上的梯度，是用于平滑损失的权重参数，是通过变形场变换后的图像，是基准图像。

4.如权利要求1所述的方法，其特征在于，对所述对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像，包括：

获取对齐后的荧光染色切片图像的通道信息；

基于不同对齐后的荧光染色切片图像的通道信息分别进行顺序堆叠处理，生成预设荧光染色图像；

基于预设校验规则对所述预设荧光染色图像进行处理，生成目标荧光染色图像。

5.如权利要求4所述的方法，其特征在于，基于预设校验规则对所述预设荧光染色图像进行处理，生成目标荧光染色图像，包括：

获取预设参考图像，其中，所述预设参考图像用于表征其他荧光染色图像的图像信息；

对所述预设荧光染色图像和所述预设参考图像进行处理，生成相关系数值和结构相似性指数，其中，所述相关系数值用于表征预设荧光染色和预设参考图像的线性关系，所述结构相似性指数用于表征预设荧光染色和预设参考图像在结构、亮度、对比度等方面相似度的指标；

对所述预设荧光染色图像进行处理，生成样本集合相似值、均方误差值和峰值信噪比，其中，所述样本集合相似值用于表征预设荧光染色图像与初始生物切片信息的相似度，所述均方误差值用于表征预设荧光染色图像与初始生物切片信息之间像素值差异的平均平方值，所述峰值信噪比用于表征预设染色荧光图像的图像质量；

对所述相关系数值、结构相似性指数、样本集合相似值、均方误差值和峰值信噪比进行处理，生成图像对齐指标结果；

基于所述图像对齐指标结果生成目标荧光染色图像。

6.如权利要求5所述的方法，其特征在于，基于预设校验规则对所述预设荧光染色图像进行处理，生成目标荧光染色图像，还包括：

所述方法包括获取相关系数值的计算公式，所述计算公式为：

；

其中，分别表示预设荧光染色图像和预设参考图像在像素i处的灰度值；和是图像和的平均灰度值；分子部分的代表了图像灰度值的协方差，分母部分代表两个图像的标准差的乘积；n是图像中的像素总数；

所述方法包括获取样本集合相似值的计算公式，所述计算公式为：

；

其中，A和B是预设荧光染色图像和预设参考图像的像素集合，分别是预设荧光染色图像和预设参考图像中像素为1的总数，是两个图像中像素为1的交集部分的像素数；

所述方法包括获取均方误差值的计算公式，所述计算公式为：

；

其中，n是图像中的像素总数，分别表示预设荧光染色图像和预设参考图像在像素i处的灰度值，代表所有像素点的平方误差之和；

所述方法包括获取峰值信噪比的计算公式，所述计算公式为：

；

其中，L是图像的最大像素值，MSE是均方误差值，L表示信号的最大值，表示图像的平均误差；

所述方法包括获取结构相似性指数的计算公式，所述计算公式为：

；

其中，分别是预设荧光染色图像和预设参考图像的平均值，表示图像的亮度信息；分别是预设荧光染色图像和预设参考图像的方差，表示图像的对比度信息；是预设荧光染色图像和预设参考图像之间的协方差，表示图像的结构信息；代表用于稳定分母和分子的常数。

7.如权利要求1所述的方法，其特征在于，对多个不同荧光通道的图像进行处理，生成细胞聚类信息，包括：

对多个不同荧光通道的图像进行矫正处理，生成目标区域信息，其中，所述目标区域信息用于表征初始区域信息所对应的细胞表达数据；

对所述目标区域信息进行处理，生成细胞亚型信息；

对所述细胞亚型信息进行处理，生成细胞聚类信息。

8.一种多重免疫组织荧光染色图像的分析装置，其特征在于，所述装置包括：

获取模块，用于获取原始生物样本数据；

处理模块，用于对所述原始生物样本数据进行切片处理，生成若干初始生物切片信息，其中，初始生物切片信息包括目标标志物，目标标志物包括淋系细胞、髓系细胞、间质细胞中的至少一种；对初始生物切片信息进行处理，生成荧光染色切片图像，其中，所述荧光染色切片图像为多个荧光通道的图像，所述荧光染色切片图像为基于多重荧光免疫组织化学技术所生成；对所述荧光染色切片图像进行处理，生成对齐后的荧光染色切片图像；对所述对齐后的荧光染色切片图像进行融合处理，生成目标荧光染色图像；对所述目标荧光染色图像进行处理，生成初始区域信息，其中，所述初始区域信息用于表征肿瘤和/或免疫细胞富集的区域；对所述初始区域信息进行处理，生成多个不同荧光通道的图像，其中，多个不同荧光通道的图像为单荧光通道图像；对多个不同荧光通道的图像进行处理，生成细胞聚类信息，其中，所述细胞聚类信息用于表征肿瘤免疫微环境的免疫状态。

9.一种电子设备，其特征在于，包括：

第一处理器；以及存储器，用于存储所述第一处理器的可执行指令；

其中，所述第一处理器配置为经由执行所述可执行指令来执行权利要求 1～7中任意一项所述的多重免疫组织荧光染色图像的分析方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被第二处理器执行时实现权利要求1～7中任意一项所述的多重免疫组织荧光染色图像的分析方法。