CN117496058A - 一种计算机视觉驱动的光学层析重建方法及系统 - Google Patents

Abstract

本申请实施例涉及光学层析成像技术领域，特别涉及一种计算机视觉驱动的光学层析重建方法及系统，该方法包括以下步骤：获取细胞在多个方向的显微投影图像；识别显微投影图像中的细胞，并将显微投影图像裁剪为具有一致尺寸的图像；将细胞与背景区分离；根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐；采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；基于显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并对细胞的三维强度分布进行重建。本申请利用计算机视觉技术，来提高光学层析图像重建的速度、鲁棒性和准确性。

Description

一种计算机视觉驱动的光学层析重建方法及系统

技术领域

本申请实施例涉及光学层析成像技术领域，特别涉及一种计算机视觉驱动的光学层析重建方法及系统。

背景技术

光学层析成像是一种新兴的显微三维成像方法，通过算法对多个角度下的细胞投影进行重建，可对亚细胞结构进行三维成像，从而促进了细胞功能、相互作用和新陈代谢等领域的相关研究。实验中，常使用旋转照明光束或细胞旋转的方法获得细胞在多个角度下的投影，而旋转照明光束的方法可实现的照明扫描范围有限，导致三维各向异性的空间分辨率。使用光学操控(optical manipulation)、光纤光学操控(fiber-opticmanipulation)、全息光镊(holographic optical tweezer)、流式细胞术(flowcytometry)、声学操控、电磁操控或微型操纵器(micro-manipulator)可实现细胞旋转，从而获取细胞的全角度投影，以实现三维各向同性空间分辨率的光学层析成像。

现有技术的成像方法是利用细胞在微流控通道中随机滚动的特性来实现光学层析成像。通过手动图像处理与相位三维建模的方法获取细胞的旋转角度和方向，以实现光学衍射层析成像。然而，现有技术中图像识别与校准均依靠手动操作，并且需要对细胞预先进行三维建模以匹配相应旋转角度，费时费力；从2D投影重建细胞的3D强度分布通常需要繁琐的预处理，而且精确且自动检测细胞旋转角度仍然是个挑战。

发明内容

本申请实施例提供一种计算机视觉驱动的光学层析重建方法及系统，利用计算机视觉技术来提高光学层析图像重建的速度、鲁棒性和准确性。

为了解决上述技术问题，第一方面，本申请实施例提供一种计算机视觉驱动的光学层析重建方法，包括以下步骤：首先，获取细胞在多个方向的显微投影图像；然后，采用目标检测卷积神经网络，识别显微投影图像中的细胞，并将显微投影图像裁剪为具有一致尺寸的图像；接下来，采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；然后，根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐；接下来，采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；最后，基于显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于正弦图对细胞的三维强度分布进行重建。

在一些示例性实施例中，采用目标检测卷积神经网络，识别显微投影图像中的细胞，包括：采用经过微调的YOLOv5模型进行细胞的目标检测，识别所述显微投影图像中的细胞；其中，采用迁移学习方法对YOLOv5模型进行微调。

在一些示例性实施例中，在识别显微投影图像中的细胞之后，在将显微投影图像裁剪为具有一致尺寸的图像之前，还包括：从显微投影图像中提取感兴趣区域。

在一些示例性实施例中，采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像，包括：采用预训练的U-Net网络，将细胞与背景区分离，进行细胞分割任务；其中，采用大量手动标记的显微投影图像对U-Net网络进行预训练，以使预训练的U-Net网络适应细胞分割任务。

在一些示例性实施例中，根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐，包括：根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置；通过确定细胞轮廓的最小封闭圆，从而对分割后的细胞位置进行精确对齐。

在一些示例性实施例中，采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取，包括：采用哈里斯角点检测器，检测每个像素周围边缘的梯度方向上的变化；利用矩阵M的特征值，确定图像的局部结构；其中，局部结构包括平面、边缘和角点；基于图像的局部结构以及检测每个像素周围边缘的梯度方向上的变化，实现动态特征提取。

在一些示例性实施例中，采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度，包括：采用Lucas-Kanade光流法，跟踪图像序列中的特征运动，并对特征运动进行估算；基于估算的特征运动，计算细胞的旋转角度。

在一些示例性实施例中，基于所述显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于所述正弦图对细胞的三维强度分布进行重建，包括：基于所述显微投影图像以及与其对应的细胞的旋转角度，建立正弦图；其中，所述正弦图是以不同角度捕获的细胞横截面的二维表示；采用Radon逆变换的重建算法，为细胞的三维强度分布进行重建，从而实现细胞的三维强度分布重建。

第二方面，本申请实施例还提供了一种计算机视觉驱动的光学层析重建系统，包括：依次连接的投影图像获取模块、细胞识别模块、细胞分割模块、细胞对齐模块、旋转角度计算模块以及三维分布重建模块；投影图像获取模块用于获取细胞在多个方向的显微投影图像；细胞识别模块用于采用目标检测卷积神经网络，识别所述显微投影图像中的细胞，并将所述显微投影图像裁剪为具有一致尺寸的图像；细胞分割模块用于采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；细胞对齐模块用于根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐；旋转角度计算模块用于采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；三维分布重建模块用于根据所述显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于所述正弦图对细胞的三维强度分布进行重建。

在一些示例性实施例中，细胞识别模块包括模型微调模块和目标检测模块；其中，模型微调模块用于采用迁移学习方法对YOLOv5模型进行微调；目标检测模块用于采用经过微调的YOLOv5模型进行细胞的目标检测，识别所述显微投影图像中的细胞；细胞分割模块包括预训练模块和分割模块；其中，预训练模块用于采用大量手动标记的显微投影图像对U-Net网络进行预训练，以使预训练的U-Net网络适应细胞分割任务；分割模块用于采用预训练的U-Net网络，将细胞与背景区分离，进行细胞分割任务。

本申请实施例提供的技术方案至少具有以下优点：

本申请实施例提供一种计算机视觉驱动的光学层析重建方法及系统，该方法包括以下步骤：首先，获取细胞在多个方向的显微投影图像；然后，采用目标检测卷积神经网络，识别显微投影图像中的细胞，并将显微投影图像裁剪为具有一致尺寸的图像；接下来，采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；然后，根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐；接下来，采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；最后，基于显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于正弦图对细胞的三维强度分布进行重建。

本申请实施例旨在提供一种新颖的计算机视觉驱动的光学层析重建方法，由计算机视觉技术驱动AI自主层析重建，增强了细胞旋转光学层析成像系统的鲁棒性和效率。该方法使用目标检测卷积神经网络(CNN)对投影进行实时预处理，同时使用深度学习对细胞与背景进行分割，显著提高了3D重建的质量并实现了细胞位置在帧之间的对齐。利用Harris角点检测提取特征点，并使用光流方法确定细胞的精确旋转角度。通过精确的旋转角度和投影，最终使用Radon逆变换重建细胞的三维强度分布。本申请的方法利用计算机视觉技术来提高光学层析图像重建的速度、鲁棒性和准确性。这种方法有望为单细胞分析的生物医学研究提供更广泛、更高效的光学层析成像方法。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，除非有特别申明，附图中的图不构成比例限制。

图1为本申请一实施例提供的一种计算机视觉驱动的光学层析重建方法的流程示意图；

图2是本申请一实施例提供的计算机视觉驱动的自主光学层析重建工作流程图；

图3为本申请一实施例提供的一种计算机视觉驱动的光学层析重建系统的结构示意图；

图4是本申请一实施例提供的使用本申请的方法对仿真细胞模型进行断层成像重建的示意图；

图5为本申请一实施例提供的使用不同方法比较对细胞模型进行光学投影层析成像重建的效果示意图；

图6为本申请一实施例提供的使用本申请的方法在实验中对由微珠和水凝胶制成的细胞模型进行重建的示意图；

图7为本申请一实施例提供的XY平面、XZ平面、YZ平面的强度剖面图以及X平面和XZ平面沿颜色标记线上的强度分布图。

具体实施方式

由背景技术可知，现有技术存在着图像识别与校准均依靠手动操作，并且需要对细胞预先进行三维建模以匹配相应旋转角度，费时费力的技术问题。

现有技术中，通常利用细胞在微流控通道中随机滚动的特性来实现光学层析成像。通过手动图像处理与相位三维建模的方法获取细胞的旋转角度和方向，以实现光学衍射层析成像。然而，从2D投影重建细胞的3D强度分布通常需要繁琐的预处理，而且精确且自动检测细胞旋转角度仍然是个挑战。还有一种方法使用传统霍夫变换(Hough transform)以实现细胞位置检测与校准，并对校准后的细胞投影进行三维重建。该方法依赖于霍夫变换检测细胞，然而，霍夫变换对噪声和细胞形状非常敏感，需要精细的参数调整。该方法识别细胞的旋转角度仍需要手动操作，无法实现全自动光学层析图像重建。

为了解决上述技术问题，本申请实施例提供了一种计算机视觉驱动的光学层析重建方法及系统，该方法包括以下步骤：首先，获取细胞在多个方向的显微投影图像；然后，采用目标检测卷积神经网络，识别显微投影图像中的细胞，并将显微投影图像裁剪为具有一致尺寸的图像；接下来，采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；然后，根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐；接下来，采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；最后，基于显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于正弦图对细胞的三维强度分布进行重建。本申请实施例旨在提供一种新颖的计算机视觉驱动的光学层析重建方法及系统，利用计算机视觉技术来提高光学层析图像重建的速度、鲁棒性和准确性。这种方法有望为单细胞分析的生物医学研究提供更广泛、更高效的光学层析成像方法。

下面将结合附图对本申请的各实施例进行详细的阐述。然而，本领域的普通技术人员可以理解，在本申请各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。

参看图1，本申请实施例提供了一种计算机视觉驱动的光学层析重建方法，包括以下步骤：

步骤S1、获取细胞在多个方向的显微投影图像。

步骤S2、采用目标检测卷积神经网络，识别显微投影图像中的细胞，并将显微投影图像裁剪为具有一致尺寸的图像。

步骤S3、采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像。

步骤S4、根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐。

步骤S5、采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度。

步骤S6、基于显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于正弦图对细胞的三维强度分布进行重建。

本申请提供的计算机视觉驱动的光学层析重建方法，核心是由计算机视觉技术驱动的AI自主层析重建方法，增强了细胞旋转光学层析成像系统的鲁棒性和效率。本申请的光学层析重建方法涉及使用目标检测卷积神经网络(CNN)对投影进行实时预处理，同时使用深度学习对细胞与背景进行分割，显著提高了3D重建的质量并实现了细胞位置在帧之间的对齐。利用Harris角点检测提取特征点，并使用光流方法确定细胞的精确旋转角度。通过精确的旋转角度和投影，最终使用Radon逆变换重建细胞的三维强度分布。

图2示出了计算机视觉驱动的自主光学层析重建工作流程图，其中，a图为细胞在多个方向的投影原图(Raw data)。b图示意细胞的预处理(Pre processing)的过程，具体为目标检测卷积神经网络(CNN)可自主识别显微镜图像中的细胞，并通过专用算法裁剪检测到的区域以实现稳定的示意图。c图示意对图像的帧校正(Frames calibration)的过程，具体为利用图像分割深度神经网络(DNN)将细胞从背景中分离出来，然后对图像进行仔细对齐的示意图。d图示意对细胞进行旋转追踪(Rotation tracking)的过程，具体为光流有助于跟踪和量化旋转角度的示意图。e图示意层析重建(Tomographic reconstruction)过程，具体为根据预处理的投影和相应的旋转角度生成正弦图，从而实现三维强度分布重建。

下面结合图2，对本申请提供的计算机视觉驱动的光学层析重建方法进行详细说明。

首先，执行步骤S1：获取细胞在多个方向的显微投影图像。在得到多个方向的显微投影图像之后，执行步骤S2：采用目标检测卷积神经网络，识别显微投影图像中的细胞，并将显微投影图像裁剪为具有一致尺寸的图像，即进行细胞识别。

在一些实施例中，步骤S2中采用目标检测卷积神经网络，识别显微投影图像中的细胞，包括：采用经过微调的YOLOv5模型进行细胞的目标检测，识别所述显微投影图像中的细胞；其中，采用迁移学习方法对YOLOv5模型进行微调。

在获取细胞在多个方向的显微投影图像之后，对显微投影图像中细胞进行检测。本申请基于YOLOv5进行细胞识别流程。具体的，使用目标检测算法YOLOv5自主地在原始显微图像中识别细胞。虽然传统的训练数据集并不包括细胞的显微图像，但YOLOv5的强大泛化能力允许其通过转移学习用于显微图像中的细胞检测。通过一组手动标记的显微细胞图像微调预训练的YOLOv5，特定为此任务优化网络。本申请选用“YOLOv5s”，由于它是YOLOv5系列中最小且最快的版本，因其高效且模型尺寸小而被选中。

在选定YOLOv5s之后，使用转移学习技术对YOLOv5s进行微调，使其更好地适应细胞定位任务。迁移学习是一种利用在其他问题上预训练的模型并对其进行微调以适应新问题的方法。由于YOLOv5最初在大规模的多样化数据集上进行了训练，因此它已经具备了识别图像中各种常见特征的能力。然后，进行手动标记和数据增强。为了训练模型，使用了100个手动标记的细胞图像。为了增强模型的稳健性和模拟不同的条件，这些标记的图像经过了广泛的增强过程，包括旋转和随机裁剪，扩展到2000张图像，以避免过拟合。损失函数：在YOLOv5的转移学习中使用了Generalized Intersection over Union(GIoU)损失。与传统的IoU不同，GIoU不仅考虑预测的边界框和真实边界框之间的重叠区域，而且还考虑包含预测边界框和真实边界框的最小封闭框的区域，因此可以更准确地评估目标检测的结果。这一技术方案的首要步骤是采用经过微调的YOLOv5模型进行细胞的目标检测，确保在有限的标记数据下还能达到高性能。

需要说明的是，本申请还可以使用其他目标检测算法：除了YOLOv5，还有其他的目标检测算法如Faster R-CNN，SSD等，这些也可以经过类似的训练和微调，以适应细胞检测任务。

在一些实施例中，在步骤S2中识别显微投影图像中的细胞之后，以及在将显微投影图像裁剪为具有一致尺寸的图像之前，还包括：从显微投影图像中提取感兴趣区域(ROI)。

在细胞检测后，从全场图像中提取ROI(Region of Interest)，并裁剪为具有一致尺寸的较小图像，使视频稳定。使用OpenCV视频稳定包对裁剪的视频帧中的细胞位置进行对齐。接下来，进行细胞分割。

在一些实施例中，步骤S3中采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像，包括：采用预训练的U-Net网络，将细胞与背景区分离，进行细胞分割任务；其中，采用大量手动标记的显微投影图像对U-Net网络进行预训练，以使预训练的U-Net网络适应细胞分割任务。

图像分割的过程非常重要，图像分割对断层重建的性能有很大的影响。有效的分割技术可以帮助从背景中的噪声区分生物样本。通过图像分割技术，最终的3D重建的对比度得到了显著的改善。传统的边缘检测算法：常用的如Canny滤波器、Sobel滤波器和Hough变换被用于显微图像中细胞边界的确定。这些方法在许多应用中都很有效，因为它们能够捕捉物体边界上的梯度变化。但是，它们的性能取决于参数的精确调整，并且它们严重依赖于物体和背景之间的高对比度，这在生物样品的成像中会出现问题。深度学习的优势：对于3D断层重建，需要在所有帧上进行均匀的分割，这在需要为传统算法微调参数的情况下可能是一个繁琐的任务。深度学习方法，由于其固有的特征学习能力，在这里被发现是有利的。它们提供了在不同帧之间一致、均匀的分割，而不需要进行繁琐的参数调整。U-Net架构：在众多的深度学习架构中，U-Net架构已经成为图像分割任务的强大工具。其设计简单而有效，非常适合生物医学图像分割。考虑到其从有限数据中学习复杂模式的能力，本申请使用了一个预训练的U-Net网络进行细胞分割任务。使用共215张手动标记的图像微调了这个预训练网络，使其能够适应本申请特定的单细胞与背景分割任务。网络表现出了卓越的性能，清晰地将细胞与背景区分开，为高质量的断层重建铺平了道路。总之，尽管传统的边缘检测方法在某些场景中表现出色，但在细胞显微图像中，由于对比度不足或其他挑战，深度学习方法如U-Net为实现高质量的断层重建提供了一种更为先进且一致的细胞分割方式。

需要说明的是，本申请采用的图像分割方法U-Net还可用Mask R-CNN替代。

在一些实施例中，步骤S4中根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐，包括：

步骤S401、根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置。

步骤S402、通过确定细胞轮廓的最小封闭圆，从而对分割后的细胞位置进行精确对齐。

在细胞分割之后，进行细胞位置进行精确对齐：根据细胞分割后的图像的高对比度，本申请确定每个帧中细胞的确切位置。通过确定细胞轮廓的最小封闭圆来实现这一点。

需要说明的是，本申请的细胞旋转方式包括但不限于光学操控(ticalmanipulation)、光纤光学操控(er-optic manipulation)、全息光镊(lographic opticaltweezer)、流式细胞术(flow cytometry)、声学操控、电磁操控等非接触式细胞旋转方法，本申请也可适用于基于微型操纵器(cro-manipulator)的电动或手动控制的细胞旋转方法。

接下来，进行旋转角度检测。

在一些实施例中，步骤S5中采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取，包括：

步骤S501、采用哈里斯角点检测器，检测每个像素周围边缘的梯度方向上的变化。

步骤S502、利用矩阵M的特征值，确定图像的局部结构；其中，局部结构包括平面、边缘和角点。

步骤S503、基于图像的局部结构以及检测每个像素周围边缘的梯度方向上的变化，实现动态特征提取。

在一些实施例中，步骤S5中采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度，包括：

步骤S5011、采用Lucas-Kanade光流法，跟踪图像序列中的特征运动，并对特征运动进行估算。

步骤S5012、基于估算的特征运动，计算细胞的旋转角度。

为了维持断层重建的真实性，准确地检测旋转角度至关重要。采用哈里斯角点检测器来在细胞旋转视频上实现动态特征提取。此算法通过检测每个像素周围边缘的梯度方向上的大变化来工作。这种方法用于识别数字图像中边缘方向发生显著变化的点。数学原理：哈里斯角点检测器的数学原理涉及到图像的灰度值和窗口函数的移动、局部自相关函数的近似、局部图像结构的判别等。利用矩阵M的特征值，本申请可以确定图像的局部结构，如平面、边缘和角点。光流法：在使用哈里斯角点检测器识别特征之后，下一步是跟踪图像序列中的特征运动，从而计算细胞的旋转角度。Lucas-Kanade光流法是估算视频中特征运动的常用方法。

需要说明的是，在特征点检测环节，哈里斯角点检测器还可使用SIFT、SURF或ORB等其他方法来替代。

在一些实施例中，步骤S6中基于显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于正弦图对细胞的三维强度分布进行重建，包括：

步骤S601、基于所述显微投影图像以及与其对应的细胞的旋转角度，建立正弦图；其中，所述正弦图是以不同角度捕获的细胞横截面的二维表示。

步骤S602、采用Radon逆变换的重建算法，为细胞的三维强度分布进行重建，从而实现细胞的三维强度分布重建。

在计算得到细胞的旋转角度之后，建立正弦图(sinogram)：一旦确定了二维投影所对应的细胞精确旋转角度，这些数据便可以构建正弦图，该图是以不同角度捕获的细胞横截面的二维表示。

在建立正弦图之后，进行光学层析重建：最终，采用Radon逆变换的重建算法为细胞的三维强度分布进行重建，从而获得细胞的三维强度分布重建，为更深入地了解其内部结构和性质做出贡献。

本申请提供的计算机视觉驱动的光学层析重建方法，关键点在于：

(1)计算机视觉在光学层析成像中的应用：本申请使用了YOLOv5目标检测算法在原始显微图像中进行细胞识别，特别是通过迁移学习来对光学层析成像中的特定应用进行微调。

(2)图像分割方法：本申请利用U-Net这一深度学习架构进行细胞显微图像的分割，尤其是其在对细胞显微成像中低对比度下的优势。

(3)细胞旋转角度的检测：本申请结合哈里斯角点检测器和Lucas-Kanade光流法来动态提取视频中细胞旋转的特征和计算细胞旋转角度。

(4)3D重建技术：本申请最终从二维显微投影数据中构建正弦图，并采用Radon逆变换来重建细胞的三维强度分布。

与现有技术相比，本申请提供的计算机视觉驱动的光学层析重建方法，其优势在于：

(1)自动化流程：本发明结合了YOLOv5目标检测算法与U-Net分割网络，能够自动且准确地在原始显微图像中进行细胞识别和分割，避免了手动操作的复杂性和易错性。

(2)省去三维建模：在本申请的方法中，无需预先进行细胞的三维建模来匹配旋转角度。通过结合哈里斯角点检测器和Lucas-Kanade光流法，本发明能够动态提取视频中细胞旋转的特征并计算其旋转角度，大大提升了角度检测的准确性与效率。

(3)对噪声和形状的鲁棒性：使用深度学习方法，特别是U-Net分割网络，对于显微图像中的噪声和不规则的细胞形状，都有很好的鲁棒性。这与霍夫变换相比，大大提高了准确性和稳定性，而且无需复杂的参数调整。

(4)全自动光学层析图像重建：整合了细胞识别、图像分割、旋转角度检测和3D重建的方法，从2D投影自动地重建细胞的3D强度分布，避免了手动操作和繁琐的预处理，实现了全自动的光学层析图像重建。

(5)提高工作效率与精确性：由于结合了多种先进的图像处理技术，这种方法不仅大大减少了整体的处理时间，而且还提高了图像分析的精确性。

参看图3，本申请实施例还提供了一种计算机视觉驱动的光学层析重建系统，包括：依次连接的投影图像获取模块101、细胞识别模块102、细胞分割模块103、细胞对齐模块104、旋转角度计算模块105以及三维分布重建模块106；投影图像获取模块101用于获取细胞在多个方向的显微投影图像；细胞识别模块102用于采用目标检测卷积神经网络，识别所述显微投影图像中的细胞，并将所述显微投影图像裁剪为具有一致尺寸的图像；细胞分割模块103用于采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；细胞对齐模块104用于根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐；旋转角度计算模块105用于采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；三维分布重建模块106用于根据所述显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于所述正弦图对细胞的三维强度分布进行重建。

在一些实施例中，细胞识别模块102包括模型微调模块1021和目标检测模块1022；其中，模型微调模块1021用于采用迁移学习方法对YOLOv5模型进行微调；目标检测模块1022用于采用经过微调的YOLOv5模型进行细胞的目标检测，识别所述显微投影图像中的细胞；细胞分割模块103包括预训练模块1031和分割模块1032；其中，预训练模块1031用于采用大量手动标记的显微投影图像对U-Net网络进行预训练，以使预训练的U-Net网络适应细胞分割任务；分割模块1032用于采用预训练的U-Net网络，将细胞与背景区分离，进行细胞分割任务。

通过实验、模拟对本申请提供的计算机视觉驱动的光学层析重建方法及系统进行验证，实验结果证明可行，结果如下所示。

图4示出了使用该方法对仿真细胞模型进行断层成像重建的示意图。其中，(a)图为使用光流法跟踪细胞模型的旋转示意图；(b)图追踪到的细胞模型旋转角度示意图；(c)图为修正后的旋转角度和真实值示意图；(d)图为细胞模型的三维强度分布重建示意图。

图5示出了使用不同方法比较对细胞模型进行光学投影层析成像重建的效果示意图。(a)图为三维可视化的仿真细胞模型。(b)图为重建后的细胞模型在XZ、XY和YZ平面上的横截面。(c)图为基于扫描照明角度的光学层析成像原理示意图。(d)图为利用扫描照明角度层析成像技术重建的细胞模型横截面图。(e)图为光学细胞旋转断层成像原理示意图。(f)使用该计算机视觉驱动的自主光学层析重建方法的细胞模型横截面图。(g)图、(h)图分别表示在重建的(g)XZ平面横截面和(h)图为YZ平面横截面上，沿彩色标记的破折号线的强度剖面的定量比较。红线：传统扫描照明角度层析重建；蓝线：该计算器视觉驱动的层析重建。

下面对实验结果进行评估。

(1)实验性质：本发明经过仿真实验来验证，通过仿真一个细胞模型(cellphantom)的旋转，作为评估该方法精确性和效果的可靠参考。

(2)实验结果：

本申请使用提出的光流技术，成功地追踪了模拟细胞模型的旋转角度。该方法对细胞旋转的平均测量误差为1.49°，表现出基于多特征光流追踪方法的细胞旋转追踪的高精度。

本申请利用Radon逆变换从每个投影的确切旋转角度重建了细胞模型的截面，并重建了细胞模型的三维强度分布。

(3)效果对比：

本申请比较了提议的自动化层析重建工作流与原始细胞模型以及仅使用有限投影角度的传统照明扫描层析重建。从结果中，提出的层析重建方法在z轴(轴向)分辨率方面显示出显著的改进。

本申请进一步量化地比较了重建层析图的强度分布，发现提议的细胞旋转层析重建(表示为蓝线)与细胞模型的地面真实强度分布相一致，显示出提议方法的改进的准确性和优越的重建能力。

(4)统计误差指标：

本申请通过使用统计误差指标(MSE，MAE，RMSE)来量化两种层析重建方法的3D重建误差，结果显示使用提议的层析重建方法可以显著地减少3D重建误差。

本申请使用MM-SSIM和PSNR这两种评估指标进一步评估了3D重建的准确性，结果显示提出的细胞旋转基础的层析方法在3D重建的准确性方面有显著的提高。

综上所述，实验、模拟和使用都证明了提议方法的可行性和优势。相对于传统的层析成像方法，本申请的基于AI的自动工作流在重建精度、准确性和鲁棒性方面都表现出明显的优势。

表1本申请与传统方法比较的光学层析重建方法的准确性数据对比

从表1可以看出，本申请与传统方法的光学层析重建方法相比，本申请的方法的准确性明显提升；其中，MSE:平均平方误差；MAE:平均绝对误差；RMSE：均方根误差；MS-SSIM:多尺度结构相似性；PSNR:峰值信噪比。

另外，本发明方法还在实验中进行了验证，图6、图7展示的为经过使用本发明方法重建的实际细胞模型，该模型被固定在一个双光束光纤光阱中，并通过微流体控制进行旋转以实现二维投影的获取。这不仅验证了本申请的方法的准确性，还证明了它在不同的细胞旋转层析成像系统中的通用性。

图6示出了使用本申请的方法在实验中对由微珠和水凝胶制成的细胞模型进行重建的示意图，其中，(a)图为沿Z轴俯视图；(b)图为45°角等距视图；(c)图为与X轴对齐的侧视图。(d)图为与Y轴对齐的侧视图。

该人造细胞模型是用透明的水凝胶珠以及两个嵌入的二氧化硅微珠制成的，这两个微珠的直径分别为2.9微米和2.5微米。通过本申请的自主层析重建方法，实现了人造细胞模型的三维强度重建，两个微珠在三维重建中清晰可见，在XY、YZ和XZ平面上均能清晰辨认，从而验证了本申请的层析重建过程的高保真度。此外，通过仔细观察水凝胶的边界，可以发现细微的纹理变化，这表明由于嵌入微珠的存在，边界材料已经被移位，这些细节在图中尤为明显。

为了定量评估各种三维方向上的层析重建情况，图7展示了XY、XZ和YZ平面上的断面图像，其中，(a)图为XY平面；(b)图为XZ平面；(c)图为YZ平面的强度剖面图，(d)图为XY平面(蓝色)和XZ平面(黄色)沿颜色标记线上的强度分布示意图，比例尺为3μm。

这些图像揭示了两个微珠的强度轮廓，在硅微珠和其水凝胶环境之间表现出高对比度。而且，XY平面和XZ平面所达到的分辨率非常接近，表明在三维空间中实现了近乎各向同性的分辨率。

总的来说，该AI驱动的层析重建工作流程在处理真实数据时表现出了高度的精确性和细节再现能力，证明了该方法在实验环境中的有效性和可靠性。

需要说明的是，该算法不仅可以用于光学层析成像，也可用于X光层析显微成像、太赫兹层析成像、荧光层析成像、相干光层析成像等领域。同时，层析成像也有断层成像等相同含义的不同表达方式。

由以上技术方案，本申请实施例提供一种计算机视觉驱动的光学层析重建方法及系统，该方法包括以下步骤：首先，获取细胞在多个方向的显微投影图像；然后，采用目标检测卷积神经网络，识别显微投影图像中的细胞，并将显微投影图像裁剪为具有一致尺寸的图像；接下来，采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；然后，根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对细胞的位置进行精确对齐；接下来，采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；最后，基于显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于正弦图对细胞的三维强度分布进行重建。

本申请实施例旨在提供一种新颖的计算机视觉驱动的光学层析重建方法，由计算机视觉技术驱动AI自主层析重建，增强了细胞旋转光学层析成像系统的鲁棒性和效率。该方法使用目标检测卷积神经网络(CNN)对投影进行实时预处理，同时使用深度学习对细胞与背景进行分割，显著提高了3D重建的质量并实现了细胞位置在帧之间的对齐。利用Harris角点检测提取特征点，并使用光流方法确定细胞的精确旋转角度。通过精确的旋转角度和投影，最终使用Radon逆变换重建细胞的三维强度分布。本申请的方法利用计算机视觉技术来提高光学层析图像重建的速度、鲁棒性和准确性。这种方法有望为单细胞分析的生物医学研究提供更广泛、更高效的光学层析成像方法。

本领域的普通技术人员可以理解，上述各实施方式是实现本申请的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本申请的精神和范围。任何本领域技术人员，在不脱离本申请的精神和范围内，均可作各自更动与修改，因此本申请的保护范围应当以权利要求限定的范围为准。

Claims (10)

1.一种计算机视觉驱动的光学层析重建方法，其特征在于，包括以下步骤：

获取细胞在多个方向的显微投影图像；

采用目标检测卷积神经网络，识别所述显微投影图像中的细胞，并将所述显微投影图像裁剪为具有一致尺寸的图像；

采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；

根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐；

采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；

基于所述显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于所述正弦图对细胞的三维强度分布进行重建。

2.根据权利要求1所述的计算机视觉驱动的光学层析重建方法，其特征在于，所述采用目标检测卷积神经网络，识别所述显微投影图像中的细胞，包括：

采用经过微调的YOLOv5模型进行细胞的目标检测，识别所述显微投影图像中的细胞；

其中，采用迁移学习方法对YOLOv5模型进行微调。

3.根据权利要求1所述的计算机视觉驱动的光学层析重建方法，其特征在于，在识别所述显微投影图像中的细胞之后，在将所述显微投影图像裁剪为具有一致尺寸的图像之前，还包括：

从所述显微投影图像中提取感兴趣区域。

4.根据权利要求1所述的计算机视觉驱动的光学层析重建方法，其特征在于，所述采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像，包括：

采用预训练的U-Net网络，将细胞与背景区分离，进行细胞分割任务；其中，

采用大量手动标记的显微投影图像对U-Net网络进行预训练，以使预训练的U-Net网络适应细胞分割任务。

5.根据权利要求1所述的计算机视觉驱动的光学层析重建方法，其特征在于，根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞位置进行精确对齐，包括：

根据细胞分割后的图像的高对比度，通过确定细胞轮廓的最小封闭圆，从而对分割后的细胞位置进行精确对齐。

6.根据权利要求1所述的计算机视觉驱动的光学层析重建方法，其特征在于，所述采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取，包括：

采用哈里斯角点检测器，检测每个像素周围边缘的梯度方向上的变化；

利用矩阵M的特征值，确定图像的局部结构；其中，局部结构包括平面、边缘和角点；基于图像的局部结构以及检测每个像素周围边缘的梯度方向上的变化，实现动态特征提取。

7.根据权利要求1所述的计算机视觉驱动的光学层析重建方法，其特征在于，所述采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度，包括：

采用Lucas-Kanade光流法，跟踪图像序列中的特征运动，并对特征运动进行估算；

基于估算的特征运动，计算细胞的旋转角度。

8.根据权利要求1所述的计算机视觉驱动的光学层析重建方法，其特征在于，基于所述显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于所述正弦图对细胞的三维强度分布进行重建，包括：

基于所述显微投影图像以及与其对应的细胞的旋转角度，建立正弦图；其中，所述正弦图是以不同角度捕获的细胞横截面的二维表示；

采用Radon逆变换的重建算法，为细胞的三维强度分布进行重建，从而实现细胞的三维强度分布重建。

9.一种计算机视觉驱动的光学层析重建系统，其特征在于，包括：依次连接的投影图像获取模块、细胞识别模块、细胞分割模块、细胞对齐模块、旋转角度计算模块以及三维分布重建模块；

所述投影图像获取模块用于获取细胞在多个方向的显微投影图像；

所述细胞识别模块用于采用目标检测卷积神经网络，识别所述显微投影图像中的细胞，并将所述显微投影图像裁剪为具有一致尺寸的图像；

所述细胞分割模块用于采用图像分割深度神经网络，将细胞与背景区分离，得到细胞分割后的图像；

所述细胞对齐模块用于根据细胞分割后的图像的高对比度，确定每个帧中细胞的确切位置，并对分割后的细胞进行精确对齐；

所述旋转角度计算模块用于采用哈里斯角点检测器，在细胞旋转视频上实现动态特征提取；采用光流法跟踪图像序列中的特征运动，计算细胞的旋转角度；

所述三维分布重建模块用于根据所述显微投影图像以及与其对应的细胞的旋转角度，生成正弦图，并基于所述正弦图对细胞的三维强度分布进行重建。

10.根据权利要求9所述的计算机视觉驱动的光学层析重建系统，其特征在于，所述细胞识别模块包括模型微调模块和目标检测模块；其中，

所述模型微调模块用于采用迁移学习方法对YOLOv5模型进行微调；

所述目标检测模块用于采用经过微调的YOLOv5模型进行细胞的目标检测，识别所述显微投影图像中的细胞；

所述细胞分割模块包括预训练模块和分割模块；其中，

所述预训练模块用于采用大量手动标记的显微投影图像对U-Net网络进行预训练，以使预训练的U-Net网络适应细胞分割任务；

所述分割模块用于采用预训练的U-Net网络，将细胞与背景区分离，进行细胞分割任务。