[go: up one dir, main page]

CN116129112A - 一种核酸检测机器人的口腔三维点云分割方法及机器人 - Google Patents

一种核酸检测机器人的口腔三维点云分割方法及机器人 Download PDF

Info

Publication number
CN116129112A
CN116129112A CN202211708393.2A CN202211708393A CN116129112A CN 116129112 A CN116129112 A CN 116129112A CN 202211708393 A CN202211708393 A CN 202211708393A CN 116129112 A CN116129112 A CN 116129112A
Authority
CN
China
Prior art keywords
image
oropharynx
dimensional
point cloud
nucleic acid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211708393.2A
Other languages
English (en)
Inventor
张添威
曲皆锐
林天麟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chinese University of Hong Kong Shenzhen
Original Assignee
Chinese University of Hong Kong Shenzhen
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chinese University of Hong Kong Shenzhen filed Critical Chinese University of Hong Kong Shenzhen
Priority to CN202211708393.2A priority Critical patent/CN116129112A/zh
Publication of CN116129112A publication Critical patent/CN116129112A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/647—Three-dimensional objects by matching two-dimensional images to three-dimensional objects
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Robotics (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种核酸检测机器人的口腔三维点云分割方法及机器人，方法包括：根据采集的图像数据建立口咽部数据集；其中，所述口咽部数据集包括：嘴巴、舌头、咽后壁和扁桃体的数据集；通过优化后的Mask R‑CNN神经网络对所述口咽部数据集进行二维图像处理，得到分割的二维口咽部图像；将所述分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。本发明的机器人摄像头可实时获取口咽部应采样部位的点云图像，更加高效准确的协助口咽拭子机器人完成核酸采样工作。

Description

一种核酸检测机器人的口腔三维点云分割方法及机器人
技术领域
本发明涉及机器人技术领域，尤其涉及的是一种核酸检测机器人的口腔三维点云分割方法及机器人。
背景技术
咽拭子核酸检测在新型冠状病毒的检测中发挥着重要的作用，在采样过程中，核酸采样人员面临着飞沫传播和接触传播的风险。快速、高效、安全的咽拭子采样是提前发现传染源，切断传播途径的关键，也是新的挑战。口咽拭子核酸检测机器人可以协助医务人员远程采集核酸样本，高效的进行核酸采集任务，有效解决上述痛点。医务人员具有专业的医学知识和技能，能够快速准确对相应位置进行采样，而对于机器人来说，需要有良好的视觉定位和引导，才能够保证采样的准确性。
要帮助口咽拭子机器人准确完成核酸采样，需要获得口腔中心和口腔采样区域，如扁桃体，咽后壁，悬雍垂等。由于扁桃体，咽后壁等特征不明显，边缘界限模糊，现有检测和分割算法准确度有限；作为辅助口咽拭子机器人的视觉算法，需要实时性强，而现有的Mask R-CNN等实例分割算法，神经网络结构复杂，实时性较弱；完成分割后的主要目的是要为机器人提供准确的采样位置信息，现有两种主要的获取深度信息的方法：一种直接对深度图像进行分割，数据处理量大且不易实现；第二种是将二维图像进行分割后算出合适的采样点，然后根据采样点的位置，获取采样点深度信息，点状的采样点容错率较低，导致机器人采样的成功率低。
因此，现有技术还有待改进。
发明内容
本发明要解决的技术问题在于，针对现有技术缺陷，本发明提供一种核酸检测机器人的口腔三维点云分割方法及机器人，以解决现有的图像分割方式获取的点状深度信息精度低而导致采样的成功率低的技术问题。
本发明解决技术问题所采用的技术方案如下：
第一方面，本发明提供一种核酸检测机器人的口腔三维点云分割方法，包括：
根据采集的图像数据建立口咽部数据集；其中，所述口咽部数据集包括：嘴巴、舌头、咽后壁和扁桃体的数据集；
通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，得到分割的二维口咽部图像；
将所述分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。
在一种实现方式中，所述根据采集的图像数据建立口咽部数据集，包括：
采集若干张不同姿态的口腔RGB图像；
根据口腔解剖模型在图像标注工具中对各口腔RGB图像的嘴巴、舌头、咽后壁以及扁桃体进行标定，得到标定后的口腔RGB图像；
根据标定后的口腔RGB图像建立所述口咽部数据集。
在一种实现方式中，所述优化后的Mask R-CNN神经网络包括：Inception v2网络、区域候选网络、全卷积网络以及全连接层。
在一种实现方式中，通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，之前包括：
根据所述口咽部数据集对所述优化后的Mask R-CNN神经网络进行训练，得到训练后的口咽部分割模型。
在一种实现方式中，所述通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，得到分割的二维口咽部图像，包括：
将所述口咽部数据集输入所述优化后的Mask R-CNN神经网络；
通过所述优化后的Mask R-CNN神经网络提取图像特征，生成图像候选区域，并进行语义分割，得到分割的二维口咽部图像。
在一种实现方式中，所述通过所述优化后的Mask R-CNN神经网络提取图像特征，生成图像候选区域，并进行语义分割，包括：
通过Inception v2网络对所述口咽部数据集进行特征提取，得到对应的图像特征；
将提取的图像特征传入区域候选网络，通过ROI分类器进行分类，生成图像候选区域；
将生成的图像候选区域输入全卷积网络进行口咽部位的语义分割，并将分割后的图像输入全连接层进行检测和定位，输出掩膜图像。
在一种实现方式中，所述掩膜图像包括：背景、嘴巴、咽后壁以及悬雍垂。
在一种实现方式中，所述将所述分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像，包括：
根据RGB-D相机的外参矩阵，在所述分割的二维口咽部图像对应的深度图像上标记出二维分割图像的边缘像素；
根据小孔成像模型将所述分割的二维口咽部图像和深度图像的像素点映射到三维坐标系下，获取口腔内部三维点云分割结果。
第二方面，本发明还提供一种机器人，包括：处理器以及存储器，所述存储器存储有核酸检测机器人的口腔三维点云分割程序，所述核酸检测机器人的口腔三维点云分割程序被所述处理器执行时用于实现如第一方面所述的核酸检测机器人的口腔三维点云分割方法的操作。
第三方面，本发明还提供一种存储介质，所述存储介质为计算机可读存储介质，所述存储介质存储有核酸检测机器人的口腔三维点云分割程序，所述核酸检测机器人的口腔三维点云分割程序被处理器执行时用于实现如第一方面所述的核酸检测机器人的口腔三维点云分割方法的操作。
本发明采用上述技术方案具有以下效果：
本发明根据采集的图像数据建立包含嘴巴、舌头、咽后壁和扁桃体的口咽部数据集，并且通过优化后的Mask R-CNN神经网络对口咽部数据集进行二维图像处理，得到分割的二维口咽部图像；以及将分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。本发明可供机器人采样的位置更大，采样的准确率更高，容错率更高，并且对算力要求更低，速度也更快，可以更加高效准确的协助口咽拭子机器人完成核酸采样工作。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明的一种实现方式中核酸检测机器人的口腔三维点云分割方法的流程图。
图2是本发明的一种实现方式中神经网络结构的示意图。
图3是本发明的一种实现方式中机器人的功能原理图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
示例性方法
在核算采样的过程中，需要获得口腔中心和口腔采样区域，如扁桃体，咽后壁，悬雍垂等。由于扁桃体，咽后壁等特征不明显，边缘界限模糊，现有检测和分割算法准确度有限；作为辅助口咽拭子机器人的视觉算法，需要实时性强，而现有的Mask R-CNN等实例分割算法，神经网络结构复杂，实时性较弱；完成分割后的主要目的是要为机器人提供准确的采样位置信息，现有两种主要的获取深度信息的方法：一种直接对深度图像进行分割，数据处理量大且不易实现；第二种是将二维图像进行分割后算出合适的采样点，然后根据采样点的位置，获取采样点深度信息，点状的采样点容错率较低，导致机器人采样的成功率低。
针对上述存在的技术问题，本发明实施例提供一种核酸检测机器人的口腔三维点云分割方法，通过优化后的Mask R-CNN神经网络对口咽部数据集进行二维图像处理，得到分割的二维口咽部图像；以及将分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。本发明实施例可供机器人采样的位置更大，采样的准确率更高，容错率更高，并且对算力要求更低，速度也更快，可以更加高效准确的协助口咽拭子机器人完成核酸采样工作。
如图1所示，本发明实施例提供一种核酸检测机器人的口腔三维点云分割方法，包括以下步骤：
步骤S100，根据采集的图像数据建立口咽部数据集。
在本实施例中，所述核酸检测机器人的口腔三维点云分割方法应用于机器人中；所述机器人为面向口咽拭子的核酸检测机器人。
在本实施例中，提供了一套面向口咽拭子机器人的核酸检测机器人的口腔三维点云分割算法。该算法通过建立新的口咽部数据集，改进Mask R-CNN神经网络，使用口咽部数据集进行训练，获得口咽部分割模型。在核酸检测时，对二维平面图像的口咽部位进行识别并进行分割，将分割结果映射到三维点云，从而获得口咽部三维点云分割图像。通过本实施例中的核酸检测机器人的口腔三维点云分割方法，可以针对任意采样者，机器人上的摄像头可实时获取口咽部应采样部位的点云图像，从而更加高效准确的协助口咽拭子机器人完成核酸采样工作。
具体地，在本实施例的一种实现方式中，步骤S100包括以下步骤：
步骤S101，采集若干张不同姿态的口腔RGB图像；
步骤S102，根据口腔解剖模型在图像标注工具中对各口腔RGB图像的嘴巴、舌头、咽后壁以及扁桃体进行标定，得到标定后的口腔RGB图像；
步骤S103，根据标定后的口腔RGB图像建立所述口咽部数据集。
在本实施例中，核酸检测机器人的口腔三维点云分割算法主要分为三个部分，分别是：1)建立新的口咽部数据集；2)二维图像处理；3)二维图像映射到三维点云。
在本实施例中，通过建立新的口咽部数据集，可以保证在机器人进行核算采样过程中，提高机器人对于被采集者的咽后壁以及扁桃体等部位的准确性，从而在后续检测时，可以更加准确地进行分割。在所有的口腔公开数据集中，主要是对牙齿、舌头等的标定，对于咽后壁，扁桃体的标定很少且标定不准确。
在本实施例中，拍摄了3255张不同姿态的口腔RGB图像，使用labelme工具(即图像标注工具)按照口腔解剖模型对口腔RGB图像中的嘴巴、舌头、咽后壁以及扁桃体进行标定；其中，标定的过程中可以使用标签进行手工标定，也可以通过特定标签进行自动标定。
由于，咽后壁和扁桃体等特征不明显且边缘较模糊，故在标定时着重注意两者位置的准确性来提高分割精度。同时，被采集者的姿势也将决定分割的准确性，因此，在拍摄口腔RGB图像时，所有志愿者均按照核酸采样的姿势进行拍摄，并尽可能多角度的采集，从而应对在采样时角度变化引起的误差。
在本实施例中，得到标定后的口腔RGB图像后，即可根据标定后的口腔RGB图像建立口咽部数据集；其中，口咽部数据集包括：嘴巴、舌头、咽后壁和扁桃体等部位的数据集。
本实施例中通过采集不同姿态的口腔RGB图像，可以对咽后壁和扁桃体等特征不明显且边缘较模糊的部位进行标定，从而提高核算采样过程中对于这些位置的分割精度。
如图1所示，本发明实施例提供一种核酸检测机器人的口腔三维点云分割方法，包括以下步骤：
步骤S200，通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，得到分割的二维口咽部图像。
在本实施例中，建立新的口咽部数据集后，通过改进Mask R-CNN神经网络，使用口咽部数据集对改进后的Mask R-CNN神经网络进行训练，获得口咽部分割模型(即训练后的改进的Mask R-CNN神经网络)。
具体地，在本实施例的一种实现方式中，步骤S200之前包括以下步骤：
步骤S201a，根据所述口咽部数据集对所述优化后的Mask R-CNN神经网络进行训练，得到训练后的口咽部分割模型。
本实施例中，二维图像处理的主要工作是对现有的Mask R-CNN神经网络进行优化，以适应口咽拭子机器人对口腔检测实时性的要求。现有的Mask R-CNN网络的网络结构复杂，且对目标(即口腔)检测的实时性较差，不适合直接拿来使用，以对口咽部进行检测和分割；因此，通过改进Mask R-CNN神经网络，使其在实际检测时能够快速且准确地识别口腔。
本实施例中，在改进Mask R-CNN神经网络的过程中，可以采用GoogleNet中的Inception v2网络结构替换掉原Mask R-CNN中ResNet/FPN部分，其中，Inception v2网络结构使用了一个深度乘数为8的可分离卷积，该可分离卷积使网络的处理速度得以极大的改善。这样的优化后的Mask R-CNN神经网络包括：Inception v2网络、区域候选网络(RPN)、全卷积网络(FCN)和全连接层(FC)；优化后的Mask R-CNN神经网络的结构如图2所示。
在对优化后的Mask R-CNN神经网络的训练过程中，将预处理好的图片(即口咽部数据集)输入到预训练好的神经网络中，得到特征图谱；对特征图谱中的每一点设定ROI值，从而获得多个ROI值；将这些候选的ROI值送入区域候选网络(RPN)进行二值分类，过滤掉一部分候选的ROI值；将原图的特征与特征图谱对应起来，对这些ROI进行分类和Mask的生成，即可完成训练的过程；其中，训练过程中的损失函数为分类误差、检测误差以及分割误差的总和。
本实施例中，在对优化后的Mask R-CNN神经网络进行训练后，得到的模型用于口咽部分割，通过将口咽部数据集输入训练后的优化的Mask R-CNN神经网络，即可输出分割后的二维口咽部图像。
具体地，在本实施例的一种实现方式中，步骤S200包括以下步骤：
步骤S201，将所述口咽部数据集输入所述优化后的Mask R-CNN神经网络；
步骤S202，通过所述优化后的Mask R-CNN神经网络提取图像特征，生成图像候选区域，并进行语义分割，得到分割的二维口咽部图像。
在本实施例中，在模型进行口咽部分割的过程中，首先通过其中的Inception v2网络提取口咽部数据集的图像特征，然后通过区域候选网络(RPN)生成候选区域，以及通过全卷积网络(FCN)进行口咽部位的语义分割，最后通过全连接层(FC)对各区域进行检测和定位，从而输出带有掩膜的图片信息，以在后续实现二维图像映射到三维点云。
具体地，在本实施例的一种实现方式中，步骤S202包括以下步骤：
步骤S202a，通过Inception v2网络对所述口咽部数据集进行特征提取，得到对应的图像特征；
步骤S202b，将提取的图像特征传入区域候选网络，通过ROI分类器进行分类，生成图像候选区域；
步骤S202c，将生成的图像候选区域输入全卷积网络进行口咽部位的语义分割，并将分割后的图像输入全连接层进行检测和定位，输出掩膜图像。
在本实施例中，采集的图像数据在Inception v2网络、区域候选网络(RPN)、全卷积网络(FCN)和全连接层(FC)中的具体处理过程为：
预处理好的图像(即口咽部数据集)传入Inception v2网络，对图像的特征进行提取；之后传入区域候选网络(RPN)，通过滑动窗口进行图像扫描，寻找存在目标的区域，产生边界框；此时，利用区域候选网络(RPN)中的ROI分类器将目标分为具体的类和背景，并用边框回归器对边框的位置进行进一步的精调，取ROI分类器选择的正区域作为输入，对每个ROI进行全卷积网络(FCN)和全连接层(FC)的操作，完成分类、Mask的生成，输出带有掩膜的图片信息，以在后续实现二维图像映射到三维点云。
本实施例中处理后的掩膜图片包含的信息为：背景、咽嘴巴、咽后壁以及悬雍垂等。
如图1所示，本发明实施例提供一种核酸检测机器人的口腔三维点云分割方法，包括以下步骤：
步骤S300，将所述分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。
在本实施例中，通过将口腔分割模型输出的二维口咽部图像映射到三维点云，即可获得口咽部的三维点云分割图像。
具体地，在本实施例的一种实现方式中，步骤S300包括以下步骤：
步骤S301，根据RGB-D相机的外参矩阵，在所述分割的二维口咽部图像对应的深度图像上标记出二维分割图像的边缘像素；
步骤S302，根据小孔成像模型将所述分割的二维口咽部图像和深度图像的像素点映射到三维坐标系下，获取口腔内部三维点云分割结果。
在本实施例中，获取图像分割结果之后，可以根据RGB-D相机的外参矩阵，在当前二维图像对应的深度图像上标记出二维分割图像的边缘像素，也就是把图像分割的结果映射到深度图上，最后利用小孔成像模型，把分割之后的二维图像和深度图像像素点映射到三维坐标系下，获取口腔内部三维点云分割结果。
在本实施例中，RGB-D相机的外参矩阵是相机装配到硬件系统之后，使用通用的外参标定方法标定得到的，在算法运行时是已知参数。标定的方法可以是现有的标定方式，例如：使用ROS系统，在ROS系统上利用二维码和棋盘格标定相机外参。
本实施例中与现有技术的不同之处在于，运用了加入了Inception v2的优化MaskR-CNN神经网络，使得在口腔检测和实例分割时的检测速度更快，除此之外，将二维图像映射到三维点云，来获取口咽拭子部位的深度信息同样是本实施例中的改进之处。与算出采样点的方式相比，这种方式可供机器人采样的位置更大，采样的准确率更高，容错率更高；与直接对三维点云进行分割的方式相比，此方法对算力要求更低，速度也更快，更适合作为口咽拭子机器人的视觉子系统。
在本实施例的其他实现方式中，可以选择其他的神经网络算法，通过降低准确性来提高神经网络的检测速度；亦或者降低检测速度以提高检测的准确度。在获取深度信息方面，还可以通过放弃二维到三维的映射方式，采取其他深度信息的获取方式达到辅助机器人进行采样的目的。
本实施例通过上述技术方案达到以下技术效果：
本实施例根据采集的图像数据建立包含嘴巴、舌头、咽后壁和扁桃体的口咽部数据集，并且通过优化后的Mask R-CNN神经网络对口咽部数据集进行二维图像处理，得到分割的二维口咽部图像；以及将分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。本实施例可供机器人采样的位置更大，采样的准确率更高，容错率更高，并且对算力要求更低，速度也更快，可以更加高效准确的协助口咽拭子机器人完成核酸采样工作。
示例性设备
基于上述实施例，本发明还提供一种机器人，包括：通过系统总线连接的处理器、存储器、接口、显示屏以及通讯模块；其中，所述处理器用于提供计算和控制能力；所述存储器包括存储介质以及内存储器；所述存储介质存储有操作系统和计算机程序；所述内存储器为所述存储介质中的操作系统和计算机程序的运行提供环境；所述接口用于连接外部设备，例如，移动终端以及计算机等设备；所述显示屏用于显示相应的信息；所述通讯模块用于与云端服务器或移动终端进行通讯。
所述计算机程序被所述处理器执行时用以实现一种核酸检测机器人的口腔三维点云分割方法的操作。
本领域技术人员可以理解的是，图3中示出的原理框图，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的机器人的限定，具体的机器人可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种机器人，其中，包括：处理器和存储器，所述存储器存储有核酸检测机器人的口腔三维点云分割程序，所述核酸检测机器人的口腔三维点云分割程序被所述处理器执行时用于实现如上所述的核酸检测机器人的口腔三维点云分割方法的操作。
在一个实施例中，提供了一种存储介质，其中，所述存储介质存储有核酸检测机器人的口腔三维点云分割程序，所述核酸检测机器人的口腔三维点云分割程序被所述处理器执行时用于实现如上所述的核酸检测机器人的口腔三维点云分割方法的操作。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一非易失性存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。
综上，本发明提供了一种核酸检测机器人的口腔三维点云分割方法及机器人，方法包括：根据采集的图像数据建立口咽部数据集；其中，所述口咽部数据集包括：嘴巴、舌头、咽后壁和扁桃体的数据集；通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，得到分割的二维口咽部图像；将所述分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。本发明的机器人摄像头可实时获取口咽部应采样部位的点云图像，更加高效准确的协助口咽拭子机器人完成核酸采样工作。
应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (10)

1.一种核酸检测机器人的口腔三维点云分割方法，其特征在于，包括：
根据采集的图像数据建立口咽部数据集；其中，所述口咽部数据集包括：嘴巴、舌头、咽后壁和扁桃体的数据集；
通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，得到分割的二维口咽部图像；
将所述分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像。
2.根据权利要求1所述的核酸检测机器人的口腔三维点云分割方法，其特征在于，所述根据采集的图像数据建立口咽部数据集，包括：
采集若干张不同姿态的口腔RGB图像；
根据口腔解剖模型在图像标注工具中对各口腔RGB图像的嘴巴、舌头、咽后壁以及扁桃体进行标定，得到标定后的口腔RGB图像；
根据标定后的口腔RGB图像建立所述口咽部数据集。
3.根据权利要求1所述的核酸检测机器人的口腔三维点云分割方法，其特征在于，所述优化后的Mask R-CNN神经网络包括：Inception v2网络、区域候选网络、全卷积网络以及全连接层。
4.根据权利要求1所述的核酸检测机器人的口腔三维点云分割方法，其特征在于，通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，之前包括：
根据所述口咽部数据集对所述优化后的Mask R-CNN神经网络进行训练，得到训练后的口咽部分割模型。
5.根据权利要求1所述的核酸检测机器人的口腔三维点云分割方法，其特征在于，所述通过优化后的Mask R-CNN神经网络对所述口咽部数据集进行二维图像处理，得到分割的二维口咽部图像，包括：
将所述口咽部数据集输入所述优化后的Mask R-CNN神经网络；
通过所述优化后的Mask R-CNN神经网络提取图像特征，生成图像候选区域，并进行语义分割，得到分割的二维口咽部图像。
6.根据权利要求5所述的核酸检测机器人的口腔三维点云分割方法，其特征在于，所述通过所述优化后的Mask R-CNN神经网络提取图像特征，生成图像候选区域，并进行语义分割，包括：
通过Inception v2网络对所述口咽部数据集进行特征提取，得到对应的图像特征；
将提取的图像特征传入区域候选网络，通过ROI分类器进行分类，生成图像候选区域；
将生成的图像候选区域输入全卷积网络进行口咽部位的语义分割，并将分割后的图像输入全连接层进行检测和定位，输出掩膜图像。
7.根据权利要求6所述的核酸检测机器人的口腔三维点云分割方法，其特征在于，所述掩膜图像包括：背景、嘴巴、咽后壁以及悬雍垂。
8.根据权利要求1所述的核酸检测机器人的口腔三维点云分割方法，其特征在于，所述将所述分割的二维口咽部图像映射到三维点云，获得口咽部的三维点云分割图像，包括：
根据RGB-D相机的外参矩阵，在所述分割的二维口咽部图像对应的深度图像上标记出二维分割图像的边缘像素；
根据小孔成像模型将所述分割的二维口咽部图像和深度图像的像素点映射到三维坐标系下，获取口腔内部三维点云分割结果。
9.一种机器人，其特征在于，包括：处理器以及存储器，所述存储器存储有核酸检测机器人的口腔三维点云分割程序，所述核酸检测机器人的口腔三维点云分割程序被所述处理器执行时用于实现如权利要求1-8中任意一项所述的核酸检测机器人的口腔三维点云分割方法的操作。
10.一种存储介质，其特征在于，所述存储介质为计算机可读存储介质，所述存储介质存储有核酸检测机器人的口腔三维点云分割程序，所述核酸检测机器人的口腔三维点云分割程序被处理器执行时用于实现如权利要求1-8中任意一项所述的核酸检测机器人的口腔三维点云分割方法的操作。
CN202211708393.2A 2022-12-28 2022-12-28 一种核酸检测机器人的口腔三维点云分割方法及机器人 Pending CN116129112A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211708393.2A CN116129112A (zh) 2022-12-28 2022-12-28 一种核酸检测机器人的口腔三维点云分割方法及机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211708393.2A CN116129112A (zh) 2022-12-28 2022-12-28 一种核酸检测机器人的口腔三维点云分割方法及机器人

Publications (1)

Publication Number Publication Date
CN116129112A true CN116129112A (zh) 2023-05-16

Family

ID=86303934

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211708393.2A Pending CN116129112A (zh) 2022-12-28 2022-12-28 一种核酸检测机器人的口腔三维点云分割方法及机器人

Country Status (1)

Country Link
CN (1) CN116129112A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172507A (zh) * 2024-05-13 2024-06-11 国网山东省电力公司济宁市任城区供电公司 基于数字孪生的变电站场景融合三维重建方法及系统
CN118512278A (zh) * 2024-07-22 2024-08-20 水护健康科技(温州)有限公司 一种用于牙齿3d打印前的ai建模方法及装置
CN120014258A (zh) * 2024-12-20 2025-05-16 航天科工(北京)空间信息应用股份有限公司 多源异构点云的语义分割方法、装置、设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200253673A1 (en) * 2017-06-28 2020-08-13 Intuitive Surgical Operations, Inc, Systems and methods for projecting an endoscopic image to a three-dimensional volume
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN112472148A (zh) * 2020-09-13 2021-03-12 张新语 一种核酸检测装置
CN113192080A (zh) * 2021-04-27 2021-07-30 北京大学 一种基于边缘计算的便携式细胞成像与智能分析系统
CN113855087A (zh) * 2021-09-29 2021-12-31 清华大学 一种便携自助式口咽拭子采样机器人
WO2022027921A1 (zh) * 2020-08-05 2022-02-10 谈斯聪 一种医疗用机器人装置、系统及方法
CN114120283A (zh) * 2021-11-29 2022-03-01 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种道路场景三维语义分割中未知障碍物的判别方法
CN114841990A (zh) * 2022-05-26 2022-08-02 长沙云江智科信息技术有限公司 一种基于人工智能的自助核酸采集方法及装置
CN114998230A (zh) * 2022-05-23 2022-09-02 肇庆学院 一种咽拭子口腔核酸采样区域图像识别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200253673A1 (en) * 2017-06-28 2020-08-13 Intuitive Surgical Operations, Inc, Systems and methods for projecting an endoscopic image to a three-dimensional volume
CN111862029A (zh) * 2020-07-15 2020-10-30 哈尔滨市科佳通用机电股份有限公司 一种铁路动车组垂向减震器螺栓部件故障检测方法
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
WO2022027921A1 (zh) * 2020-08-05 2022-02-10 谈斯聪 一种医疗用机器人装置、系统及方法
CN112472148A (zh) * 2020-09-13 2021-03-12 张新语 一种核酸检测装置
CN113192080A (zh) * 2021-04-27 2021-07-30 北京大学 一种基于边缘计算的便携式细胞成像与智能分析系统
CN113855087A (zh) * 2021-09-29 2021-12-31 清华大学 一种便携自助式口咽拭子采样机器人
CN114120283A (zh) * 2021-11-29 2022-03-01 华中光电技术研究所（中国船舶重工集团公司第七一七研究所） 一种道路场景三维语义分割中未知障碍物的判别方法
CN114998230A (zh) * 2022-05-23 2022-09-02 肇庆学院 一种咽拭子口腔核酸采样区域图像识别方法
CN114841990A (zh) * 2022-05-26 2022-08-02 长沙云江智科信息技术有限公司 一种基于人工智能的自助核酸采集方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YONGQUAN CHEN ET AL.: "A collaborative robot for COVID-19 oropharyngeal swabbing", 《ROBOTICS AND AUTONOMOUS SYSTEMS》, pages 5 - 6 *
王盛杰;刘博;李和平;陈臻;吕升林;: "基于面阵三维成像激光雷达的目标点云分割技术", 半导体光电, no. 05 *
胡敦利;张维;: "基于Mask R-CNN的动态物体剔除方法在RGB-D视觉SLAM中的应用", 工业控制计算机, no. 03 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118172507A (zh) * 2024-05-13 2024-06-11 国网山东省电力公司济宁市任城区供电公司 基于数字孪生的变电站场景融合三维重建方法及系统
CN118512278A (zh) * 2024-07-22 2024-08-20 水护健康科技(温州)有限公司 一种用于牙齿3d打印前的ai建模方法及装置
CN120014258A (zh) * 2024-12-20 2025-05-16 航天科工(北京)空间信息应用股份有限公司 多源异构点云的语义分割方法、装置、设备和存储介质
CN120014258B (zh) * 2024-12-20 2025-08-01 航天科工(北京)空间信息应用股份有限公司 多源异构点云的语义分割方法、装置、设备和存储介质

Similar Documents

Publication Publication Date Title
CN116129112A (zh) 一种核酸检测机器人的口腔三维点云分割方法及机器人
CN110728210A (zh) 一种三维点云数据的半监督目标标注方法和系统
CN108734120B (zh) 标注图像的方法、装置、设备和计算机可读存储介质
CN110096925B (zh) 人脸表情图像的增强方法、获取方法和装置
CN108921854B (zh) 一种消化道内镜图像不规则病变区域标注方法及系统
CN111898613B (zh) 半监督语义分割模型训练方法、识别方法和装置
CN118512278B (zh) 一种用于牙齿3d打印前的ai建模方法及装置
CN106980365A (zh) 基于深度卷积神经网络框架的第一视角动态手势识别方法
CN117152507B (zh) 一种牙齿健康状态检测方法、装置、设备及存储介质
CN114519881A (zh) 人脸位姿估计方法、装置、电子设备及存储介质
CN102254345A (zh) 基于云计算的自然特征注册方法
CN113256605B (zh) 一种基于深度神经网络的乳腺癌图像识别分类方法
CN108922599A (zh) 一种基于mil的医学图像病灶点精确标注方法
CN118570253A (zh) 4d动静态目标真值数据标注系统及方法
CN111401102A (zh) 深度学习模型训练方法及装置、电子设备及存储介质
CN117911641A (zh) 牙齿间距离的确定方法、装置、电子设备及可读存储介质
WO2024087910A1 (zh) 正畸治疗监测方法、装置、设备及存储介质
WO2022246605A1 (zh) 一种关键点标定方法和装置
CN116883652A (zh) 一种可行驶区域分割方法、装置、可读存储介质及机器人
CN116416197A (zh) 肺段分叉口识别方法、装置、电子装置及计算机可读存储介质
CN113658107B (zh) 一种基于ct图像的肝脏病灶诊断方法及装置
CN117315792A (zh) 一种基于卧姿人体测量的实时调控系统
CN115661037A (zh) 一种胶囊内镜辅助检测方法、装置、系统、设备及介质
CN117373117A (zh) 一种基于动态识别的太极拳训练方法及系统
CN115984374A (zh) 光伏电站的故障定位追踪方法、装置和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20230516

RJ01 Rejection of invention patent application after publication