[go: up one dir, main page]

CN117132800A - 材质类型的识别方法和装置、存储介质、电子装置 - Google Patents

材质类型的识别方法和装置、存储介质、电子装置 Download PDF

Info

Publication number
CN117132800A
CN117132800A CN202210529368.1A CN202210529368A CN117132800A CN 117132800 A CN117132800 A CN 117132800A CN 202210529368 A CN202210529368 A CN 202210529368A CN 117132800 A CN117132800 A CN 117132800A
Authority
CN
China
Prior art keywords
determining
area
material type
interest
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210529368.1A
Other languages
English (en)
Inventor
王文光
罗绍涵
刘翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dreame Technology Suzhou Co ltd
Original Assignee
Dreame Technology Suzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dreame Technology Suzhou Co ltd filed Critical Dreame Technology Suzhou Co ltd
Priority to CN202210529368.1A priority Critical patent/CN117132800A/zh
Publication of CN117132800A publication Critical patent/CN117132800A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供了一种材质类型的识别方法和装置、存储介质、电子装置，上述材质类型的识别方法包括：在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，采用上述技术方案，可以解决相关技术中现有的移动机器人识别地面的材质类型的准确率较低等问题。

Description

材质类型的识别方法和装置、存储介质、电子装置
【技术领域】
本发明涉及移动机器人领域，具体而言，涉及一种材质类型的识别方法和装置、存储介质、电子装置。
【背景技术】
随着科学技术的进步和人工智能的发展，智能算法也越来越多的应用到日常生活中，其智能化发展是至关重要的，而智能化的最关键问题，就在于智能解决用户的迫切需求。
在现有技术中，移动机器人在设定好清扫强度后，对待扫空间内的环境采用相同的清扫强度以及清扫方案。虽然现有的移动机器人可以通过超声波识别，视觉识别等方式识别出地面的材质类型，但是现有技术中移动机器人识别地面的材质类型的准确率较低。
因此，有必要对相关技术予以改良以克服相关技术中的所述缺陷。
【发明内容】
本发明实施例提供了一种材质类型的识别方法和装置、存储介质、电子装置，以至少解决相关技术中移动机器人识别地面的材质类型的准确率较低等问题。
根据本发明的一个实施例，提供了一种材质类型的识别方法，包括：在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
在一个示例性实施例中，在移动机器人获取的图像信息中确定感兴趣区域，包括：通过第一语义分割模型确定所述图像信息的掩码信息；根据所述掩码信息在所述图像信息中提取所述感兴趣区域。
在一个示例性实施例中，在移动机器人获取的图像信息中确定感兴趣区域，包括：通过第二语义分割模型确定多个所述图像信息的标注数据，其中，所述标注数据用于指示多个所述图像信息中多个区域的长度信息和宽度信息；根据所述标注数据确定包含多个所述感兴趣区域的第一标注数据集，其中，所述第一标注数据集用于指示所述感兴趣区域的长度数据和宽度数据；对所述第一标注数据集中的长度数据和宽度数据进行高斯拟合，得到所述第一标注数据集对应的正态分布图；根据正态分布图的能量分布原理确定所述感兴趣区域。
在一个示例性实施例中，得到所述第一标注数据集对应的正态分布图，包括：分别确定所述第一标注数据集的长度数据和宽度数据的数据均值；根据所述数据均值对所述第一标注数据集进行高斯拟合，得到所述第一标注数据集对应的正态分布图。
在一个示例性实施例中，根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，包括：通过频域特征算法提取所述感兴趣区域的多个特征检测点，以及所述多个特征检测点分别对应的频域特征；根据所述频域特征确定所述待识别区域的材质类型是否为第一材质类型；在所述待识别区域的材质类型不为第一材质类型的情况下，通过颜色模型算法确定所述多个特征检测点分别对应的色彩特征；根据所述色彩特征确定所述待识别区域的材质类型为第二材质类型。
在一个示例性实施例中，通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息，包括：通过颜色模型算法确定所述待识别区域的多个特征检测点的色彩特征，以及通过局部二值模式特征提取算法确定所述待识别区域的多个特征检测点的纹理特征；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，包括：根据所述色彩特征和所述纹理特征确定所述待识别区域的材质类型。
在一个示例性实施例中，根据所述色彩特征和所述纹理特征确定所述待识别区域的的材质类型，包括：Ff＝αFt+βFc，其中，Ff为融合后的特征信息，Ft为所述纹理特征，Fc为所述色彩特征，α为所述纹理特征的权重参数，β为所述色彩特征的权重参数；根据所述融合后的特征信息确定所述待识别区域的材质类型。
在一个示例性实施例中，根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型之后，所述方法还包括：确定所述移动机器人在获取所述图像信息时的状态信息，其中，状态信息包括：所述移动机器人的移动方向和所述移动机器人距离目标边界的距离信息；确定所述移动方向是否为目标移动方向；在所述移动方向不为目标移动方向的情况下，确定所述移动机器人距离目标边界的距离信息与预设距离的大小关系；在所述大小关系指示所述距离信息大于预设距离的情况下，确定所述待识别区域的材质类型的有效性大于预设阈值。
在一个示例性实施例中，通过预设方法在移动机器人获取的图像信息中确定感兴趣区域之前，所述方法还包括：确定所述移动机器人的位置信息；根据所述位置信息确定所述移动机器人是否位于预设区域；在所述感兴趣区域位于预设区域的情况下，根据区域与材质类型的对应关系确定所述待识别区域的材质类型为第三材质类型。
根据本发明的另一个实施例，提供了一种材质类型的识别装置，所述材质类型的识别装置包括：第一确定模块，用于在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；第二确定模块，用于通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；第一确定模块，用于根据所述多个特征检测点多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
根据本发明的又一实施例，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述材质类型的识别方法。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，在移动机器人获取的图像信息中确定感兴趣区域；通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，采用上述技术方案，解决了相关技术中，移动机器人识别地面的材质类型的准确率较低等问题。
与现有技术相比，本发明具有如下有益效果：基于场景的先验知识设计了感兴趣区域提取方法：对移动机器人采集到的图像进行分析，确定图像信息中的感兴趣区域，通过特征提取算法对待识别区域的材质类型进行识别，提高了移动机器人识别地面的材质类型的准确率。
【附图说明】
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种材质类型的识别方法的移动机器人的硬件结构框图；
图2是根据本发明实施例的材质类型的识别方法的流程图；
图3是根据本发明实施例的材质类型的识别方法的感兴趣区域结果图例(一)；
图4是根据本发明实施例的材质类型的识别方法的感兴趣区域结果图例(二)；
图5是根据本发明实施例的材质类型的识别方法的感兴趣区域结果图例(三)；
图6为根据本发明可选实施例的高斯分布能量分布图；
图7是根据本发明实施例的材质类型的识别方法的分类器的推理框架图；
图8是根据本发明实施例的材质类型的识别方法的多特征融合框架图；
图9是根据本发明实施例的材质类型的识别装置的结构框图。
【具体实施方式】
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例一所提供的方法实施例可以在移动机器人或者类似的运算装置中执行。以运行在移动机器人上为例，图1是本发明实施例的一种材质类型的识别方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的材质类型的识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至材质类型的识别装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括材质类型的识别装置的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(RadioFrequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种材质类型的识别方法，应用于移动机器人中，图2是根据本发明实施例的材质类型的识别方法的流程图，该流程包括如下步骤：
步骤S202：在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；
需要说明的是，通过移动机器人上的图像采集装置采集图像信息。
步骤S204：通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；
步骤S206：根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
通过本发明实施例，在移动机器人获取的图像信息中确定感兴趣区域；通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，采用上述技术方案，解决了相关技术中，移动机器人识别地面的材质类型的准确率较低等问题。
需要说明的是，上述感兴趣区域用于指示所述移动机器人位于的目标区域中的待识别的地面区域。
在一个示例性实施例中，在移动机器人获取的图像信息中确定感兴趣区域，包括：通过第一语义分割模型确定所述图像信息的掩码信息；根据所述掩码信息在所述图像信息中提取所述感兴趣区域。
也就是说，第一语义分割模型推理得到感兴趣区域的掩码；采用对应的掩码提取感兴趣区域，并将背景区域置零，进而可以减少背景区域在学习过程中优化器梯度优化的干扰。
可选的，在所述图像信息中提取所述感兴趣区域提取之后，所述方法还包括，将感兴趣区域输入值第一语义分割模型中，对所述第一语义分割模型进行训练优化。
在一个示例性实施例中，在移动机器人获取的图像信息中确定感兴趣区域，包括：通过第二语义分割模型确定多个所述图像信息的标注数据，其中，所述标注数据用于指示多个所述图像信息中多个区域的长度信息和宽度信息；根据所述标注数据确定包含多个所述感兴趣区域的第一标注数据集，其中，所述第一标注数据集用于指示所述感兴趣区域的长度数据和宽度数据；对所述第一标注数据集中的长度数据和宽度数据进行高斯拟合，得到所述第一标注数据集对应的正态分布图；；根据正态分布图的能量分布原理确定所述感兴趣区域。
需要说明的是，目标区域用于指示所述图像信息中用于指示地面的区域。
也就是说，根据第二语义分割模型确定的图像信息的标注数据筛选得到包含感兴趣区域的第一标注数据集；根据所述第一标注数据统计感兴趣区域的纵向边界曲线，并在第一标注数据集上求取均值；根据所述数据均值对所述第一标注数据集进行高斯拟合，筛选得到的地面区域边界近似为高斯分布，根据高斯分布的能量分布原理确认一个最有的聚集能量最多的区域，即为感兴趣区域。
在一个示例性实施例中，根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，包括：通过频域特征算法提取所述感兴趣区域的多个特征检测点，以及所述多个特征检测点分别对应的频域特征；根据所述频域特征确定所述待识别区域的材质类型是否为第一材质类型；在所述待识别区域的材质类型不为第一材质类型的情况下，通过颜色模型算法确定所述多个特征检测点分别对应的色彩特征；根据所述色彩特征确定所述待识别区域的材质类型为第二材质类型。
本实施例是基于svm的二阶段学习算法的材质识别的方法，其中，第一个阶段训练一个基于svm的二分类分类器，该分类器主要用来区分待识别区域是不是第一材质类型；第二个阶段是建立在第一个阶段推理结果的基础上进行的，即在待识别区域不是第一材质类型的情况下，进一步区分该待识别区域是第二材质类型还是第四材质类型。即两个阶段采用了不同的分类器，即在训练阶段分别训练两个阶段的分类器，一个用来区分是不是第一材质类型，另一个用来区分是第二材质类型还是第四材质类型。
在一个示例性实施例中，通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息，包括：通过颜色模型算法确定所述感兴趣区域的多个特征检测点的色彩特征，以及通过局部二值模式特征提取算法确定所述感兴趣区域的多个特征检测点的纹理特征；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，包括：根据所述色彩特征和所述纹理特征确定所述待识别区域的材质类型。
由于单一的特征提取器只能提取得到输入数据的某一方面的特征，要么是纹理特征，要么是颜色特征，但是很多视觉识别的场景并不仅仅依靠单个特征可以识别，往往需要综合考虑其轮廓，色彩以及纹理等特征，因此，本发明实施例通过多特征进行融合，以得到多个特征检测点分别对应的特征信息，具体的，通过颜色模型算法确定所述感兴趣区域的多个特征检测点的色彩特征，以及通过局部二值模式特征提取算法确定所述感兴趣区域的多个特征检测点的纹理特征，并将获取的纹理特征和色彩特征进行融合，得到特征检测点对应的融合后的特征信息。
在一个示例性实施例中，根据所述色彩特征和所述纹理特征确定所述待识别区域的材质类型，包括：Ff＝αFt+βFc，其中，Ff为融合后的特征信息，Ft为所述纹理特征，Fc为所述色彩特征，α为所述纹理特征的权重参数，β为所述色彩特征的权重参数；根据所述融合后的特征信息确定所述待识别区域的材质类型。
具体的，色彩特征和纹理特征的融合公式为：Ff＝αFt+βFc，其中，Ff为融合后的特征信息，Ft为所述纹理特征，Fc为所述色彩特征，α为所述纹理特征的权重参数，β为所述色彩特征的权重参数。其中为了得到更具有表征性的融合特征，特征融合从两个方面控制这两种特征在融合特征中发挥的比重：一方面控制两个特征向量的模占融合后的特征信息对应的特征向量模的比，即两个向量占用融合后的特征信息对应的特征向量维度的比重，设融合特征向量大小为Lf，纹理特征向量大小为Lt，色彩特征的向量大小为Lc，则三者之间的关系如公式(3)所示：Lf＝λLt+γLc；通过控制两个特征向量长度大小调节模型的表征性。进而能有效调节不同特征在融合向量中的权重占比从而得到更好的特征。
在一个示例性实施例中，根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型之后，确定所述移动机器人在获取所述图像信息时的状态信息，其中，状态信息包括：所述移动机器人的移动方向和所述移动机器人距离目标边界的距离信息；确定所述移动方向是否为目标移动方向；在所述移动方向不为目标移动方向的情况下，确定所述移动机器人距离目标边界的距离信息与预设距离的大小关系；在所述大小关系指示所述距离信息大于所述预设距离的情况下，确定所述待识别区域的材质类型的有效性大于预设阈值。
本实施例用于过滤无效的数据，主要基于两个条件进行。第一个是移动机器人的移动方向，根据各个材质识别监测点对应时刻的移动机器人的移动方向(也可以理解为朝向)过滤，举例来讲，如果移动方向为面向墙面则满足第一个条件；第二个条件为边际逻辑，即当材质识别检测点对应时刻移动机器人所处的位置处于边界的距离小于Db，则满足第二个条件。当同时满足这两个条件时，则所述待识别区域的材质类型的有效性小于预设阈值。
在一个示例性实施例中，通过预设方法在移动机器人获取的图像信息中确定感兴趣区域之前，所述方法还包括：确定所述移动机器人的位置信息；根据所述位置信息确定所述移动机器人是否位于预设区域；在所述感兴趣区域位于预设区域的情况下，根据区域与材质类型的对应关系确定所述待识别区域的材质类型为第三材质类型。
也就是说，在预先确定某些房间为某一材质的情况下，则不开启识别功能，举例来讲，当移动机器人清扫洗手间时，不会开启材质识别功能并在最终清扫完毕后默认设定为瓷砖型别。
为了更好理解上述材质类型的识别方法，以下结合可选实施例对上述技术方案进行解释说明，但不用于限定本发明实施例的技术方案。
在本实施例中提供了一种材质类型的识别方法，应用于移动机器人中，具体步骤如下：
步骤S1：数据预处理。
为了得到感兴趣区域ROI，本发明实施例给出了两种提取感兴趣区域的方法：1)利用预训练的语义分割模型提取得到感兴趣区域；2)利用统计学的方式计算得到一张数据中最可能包含地面的区域，进而得到感兴趣区域。
在采用机器学习的方法学习识别感兴趣区域的类别的情况下，需要对模型进行训练，举例来讲，采用语义分割模型来得到数据的感兴趣区域，并采用经过预处理和清洗的数据来进行传统机器学习的训练。
在采用统计学的方法识别感兴趣区域的类别的情况下，由于统计学方法要求在具有普遍性和广泛性的数据集上进行统计，所以为了使得统计得到的数据具有足够代表性，需要从几个维度进行了数据采集和整理：地域(南北东西)，季节，户型等，并根据不同型别的数据做均匀化采样，确保完整数据集包含各个型别的数据在量级上保持近似。
利用预训练的语义分割模型提取得到感兴趣区域的方式能提取得到更为准确的ROI；但是这种方法的缺陷在于需要预训练一个有效可靠的模型，且在推理过程中显性增加时间复杂度和资源占用率；
利用统计学得到感兴趣区域的方式在推理阶段会更为简洁快速，通过采集到的数据得到统计先验知识，通过设置几个简单的参数就可以得到近似的感兴趣区域，具有良好的鲁棒性和实用性，但是这种方法的缺陷在于提取得到的感兴趣区域不是完全准确的感兴趣区域，而是包含着背景信息(背景信息可以理解为不属于地面的其他区域)一个近似的RIO区域。从另一方面来说，由于训练过程中的数据就是包含着背景信息的ROI数据，所以一定程度上来说这样训练得到的模型在推理过程中面对相似分布的ROI数据会表现出同样的可靠性和鲁棒性。
步骤S2：感兴趣区域提取。
采用语义分割模型提取ROI的区域包括：
步骤S211：采用语义分割模型推理得到感兴趣区域的mask掩码；
步骤S212：采用对应的mask提取感兴趣区域，并将背景区域置零；图图3、图4、图5所示，图3是根据本发明实施例的材质类型的识别方法的感兴趣区域结果图例(一)；图4是根据本发明实施例的材质类型的识别方法的感兴趣区域结果图例(二)；图5是根据本发明实施例的材质类型的识别方法的感兴趣区域结果图例(三)；
步骤S213：将提取得到的感兴趣区域的数据对语义分割模型进行训练优化。
采用统计学方法提取ROI的区域包括：
步骤S221：有效数据筛选：根据语义分割的标注数据筛选得到包含地面的数据集；
步骤S222：地面区域边界统计：统计所有地面区域的纵向边界曲线，并在数据集的有效数据上求取均值；
步骤S223：根据公式1进行高斯分布拟合：
近似的，筛选得到的地面区域边界近似为高斯分布，根据高斯分布的能量分布原理确认一个最有的聚集能量最多的区域(坐标边界区域为[-2σ：2σ]，集中约95％的能量)；如图6所示，图6为根据本发明可选实施例的高斯分布能量分布图。
步骤S224：采用步骤S223得到的一个近似的外界边界，此即为感兴趣区域。
步骤S3：结合多特征融合算法及机器学习对感兴趣区域的地面材质进行识别。
(1)基于svm的两阶段材质识别方法
地面材质主要包括木制地板、瓷砖以及地毯等。为了实现高效可靠的地面材质识别，采用svm作为学习模型。Svm是一种高效的二分类机器学习算法，同时由于地毯这种材质在视觉上与地板和瓷砖有显著的差异，因此可以采用二阶段的机器学习算法。如图7所示，图7是根据本发明实施例的材质类型的识别方法的分类器的推理框架图。
首先，训练一个基于svm的二分类分类器，第一个分类器主要用来区分目标数据是不是地毯；其次，在第一个阶段推理结果的基础上再次进行分类，即如果目标数据不是地毯，那么送入第二个分类器进行识别，进一步区分该目标数据是地板还是瓷砖。
本发明实施例的两个阶段采用了不同的分类器，即在训练阶段分别训练两个阶段的分类器，一个用来区分是地毯还是不是地毯，另一个用来区分是瓷砖还是地板。这一方法的一个优势在于更好的契合了svm原生二分类器的特点，将问题域划分成了两个较小的子问题集，从而更加容易获得好的识别效果。
需要说明的是，在这一方案中两个阶段的特征提取算法可以灵活配置(但是要确保训练和推理阶段的一致性)，快速傅里叶变化(FFT)提取频域特征，hsv色彩空间域提取图片色彩特征以及局部二值模式(Local Binary Patterns，简称为lbp)算法都具有较好的性能。在实际应用的过程中，可以根据生产设备的差异和计算资源灵活运用。
(2)基于svm的端到端(End2End)多特征融合算法对感兴趣区域的地面材质进行识别。
基于svm的端到端多特征融合算法采用了多特征融合的方式。算法框架如图8所示，图8是根据本发明实施例的材质类型的识别方法的多特征融合框架图。相关技术中，单一的特征提取器只能提取得到输入数据的某一方面的特征，例如：纹理特征或颜色特征，但是很多视觉识别的场景往往需要综合考虑其轮廓，色彩以及纹理等特征，进而本发明实施例将颜色特征和纹理特征进行融合，其特征融合方式如式(2)所示：
Ff＝αFt+βFc (2)。
其中，Ff表示融合特征，Ft表示的是纹理特征，Fc表示的是色彩特征，α和β为权重参数。其中，为了得到更具有表征性的融合特征，特征融合从两个方面控制这两种特征在融合特征种发挥的比重：
一方面控制两个特征向量的模占融合特征模的比，即两个向量占用融合特征向量维度的比重，设融合特征向量大小为Lf，纹理特征向量大小为Lt，色彩特征的向量大小为Lc，则三者之间的关系如公式(3)所示：
Lf＝λLt+γLc (3)
通过控制两个特征向量长度大小调节模型的表征性。
另一方面控制两个特征向量值对总特征向量值的占比，即公式(2)所示。通过这两种方式，能有效调节不同特征在融合向量中的权重占比；进而通过融合后的特征信息对感兴趣区域的地面材质进行识别。
步骤S4：后处理。
材质识别在移动机器人的场景下实际上是作为一个局部整体进行的，简而言之，就是其目标是期望得到一个已经完成房间分区的基础上，结合位置信息(pos信息)推理出每一个房间的材质类型。
材质识别从整体逻辑上可以分为两个大的阶段，第一个阶段为高频次实时推理，即随着移动机器人在室内“走动”按照一定频率使用材质识别算法推理得到地面材质类型，并保存对应的时间戳和识别结果。第二节阶段为投票识别阶段。该阶段的实施在移动机器人完成清扫后进行，根据移动机器人在整个清扫过程中的地面材质识别结果以及对应的房间分区，这样根据单个房间内所拥有的材质识别检测点作为一个集合进行投票，根据投票结果确认各个房间的地面材质类型。
过滤逻辑。该逻辑主要用于过滤无效的数据，主要基于两个条件进行。1)移动机器人朝向，根据各个材质识别检测点对应的移动机器人的朝向进行过滤，如果朝向为面向墙面则满足第一个条件；2)边际逻辑，即当材质识别检测点对应的移动机器人所处的位置处于边界的距离小于Db，则满足第二个条件。当材质识别检测点同时满足这两个条件时，则认为该数据为无效数据点，不参与投票。
无效投票判定逻辑。无效投票是指认为投票结果可靠性较差的情形则认强制认定该区域或房屋材质类型为默认材质。当单个房间或区域有效材质识别检测点的数量小于一定阈值时，则认为该房间观测点不足以投出可靠的识别结果，房间地面材质设定为默认材质类别。
不参与识别场景。根据先验知识，可知某些房间默认为某一材质，这里主要是指卫生间场景，当移动机器人清扫洗手间时，不会开启材质识别功能并在最终清扫完毕后默认设定为瓷砖型别。
步骤S5：识别结果，如表1所示。
本发明实施例，根据扫地机器人采集到的数据分析，发现地面区域主要集中在图片的下半部分，通过统计学分析，得到了一个具有统计学意义的边界信息，即根据统计信息确定一个确定大小的“边界框”，采用该边界框确认ROI区域送入算法进行材质识别；解决了相关技术中，移动机器人识别地面的材质类型的准确率较低等问题。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了材质类型的识别装置，该材质类型的识别装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图9是根据本发明实施例的材质类型的识别装置的结构框图，如图9所示，包括：
第一确定模块92，用于在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；
第二确定模块94，用于通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；
第三确定模块96，用于根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
通过本发明实施例，在移动机器人获取的图像信息中确定感兴趣区域；通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，采用上述技术方案，解决了相关技术中，移动机器人识别地面的材质类型的准确率较低等问题。
在一个示例性实施例中，第一确定模块，用于通过第一语义分割模型确定所述图像信息的掩码信息；根据所述掩码信息在所述图像信息中提取所述感兴趣区域。
在一个示例性实施例中，第一确定模块，用于通过第二语义分割模型确定多个所述图像信息的标注数据，其中，所述标注数据用于指示多个所述图像信息中多个区域的长度信息和宽度信息；根据所述标注数据确定包含多个所述感兴趣区域的第一标注数据集，其中，所述第一标注数据集用于指示所述感兴趣区域的长度数据和宽度数据；对所述第一标注数据集中的长度数据和宽度数据进行高斯拟合，得到所述第一标注数据集对应的正态分布图；根据正态分布图的能量分布原理确定所述感兴趣区域。
在一个示例性实施例中，第一确定模块，用于确定所述第一标注数据集的长度数据和宽度数据的数据均值；根据所述数据均值对所述第一标注数据集进行高斯拟合，得到所述第一标注数据集对应的正态分布图。
在一个示例性实施例中，第三确定模块，用于通过频域特征算法提取所述感兴趣区域的多个特征检测点，以及所述多个特征检测点分别对应的频域特征；根据所述频域特征确定所述待识别区域的材质类型是否为第一材质类型；在所述待识别区域的材质类型不为第一材质类型的情况下，通过颜色模型算法确定所述多个特征检测点分别对应的色彩特征；根据所述色彩特征确定所述待识别区域的材质类型为第二材质类型。
在一个示例性实施例中，第三确定模块，用于通过颜色模型算法确定所述感兴趣区域的多个特征检测点的色彩特征，以及通过局部二值模式特征提取算法确定所述感兴趣区域的多个特征检测点的纹理特征；根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，包括：根据所述色彩特征和所述纹理特征确定所述待识别区域的材质类型。
在一个示例性实施例中，第三确定模块，用于通过以下公式融合所述色彩特征和所述纹理特征：Ff＝αFt+βFc，其中，Ff为融合后的特征信息，Ft为所述纹理特征，Fc为所述色彩特征，α为所述纹理特征的权重参数，β为所述色彩特征的权重参数；根据所述融合后的特征信息确定所述待识别区域的材质类型。
在一个示例性实施例中，第一确定模块，用于确定所述移动机器人在获取所述图像信息时的状态信息，其中，状态信息包括：所述移动机器人的移动方向和所述移动机器人距离目标边界的距离信息；确定所述移动方向是否为目标移动方向；在所述移动方向不为目标移动方向的情况下，确定所述移动机器人距离目标边界的距离信息与预设距离的大小关系；在所述大小关系指示所述距离信息大于所述预设距离的情况下，确定所述待识别区域的材质类型的有效性大于预设阈值。
在一个示例性实施例中，第一确定模块，用于确定所述移动机器人的位置信息；根据所述位置信息确定所述移动机器人是否位于预设区域；在所述感兴趣区域位于预设区域的情况下，根据所述预设区域与第三材质类型的对应关系确定所述待识别区域的材质类型为第三材质类型。
本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项的方法。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：
S1，在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；
S2，通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；
S3，根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；
S2，通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；
S3，根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (12)

1.一种材质类型的识别方法，其特征在于，包括：
在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；
通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；
根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
2.根据权利要求1所述的方法，其特征在于：在移动机器人获取的图像信息中确定感兴趣区域，包括：
通过第一语义分割模型确定所述图像信息的掩码信息；
根据所述掩码信息在所述图像信息中提取所述感兴趣区域。
3.根据权利要求1所述的方法，其特征在于：在移动机器人获取的图像信息中确定感兴趣区域，包括：
通过第二语义分割模型确定多个所述图像信息的标注数据，其中，所述标注数据用于指示多个所述图像信息中多个区域的长度信息和宽度信息；
根据所述标注数据确定包含多个所述感兴趣区域的第一标注数据集，其中，所述第一标注数据集用于指示所述感兴趣区域的长度数据和宽度数据；
对所述第一标注数据集中的长度数据和宽度数据进行高斯拟合，得到所述第一标注数据集对应的正态分布图；
根据正态分布图的能量分布原理确定所述感兴趣区域。
4.根据权利要求3所述的方法，其特征在于：得到所述第一标注数据集对应的正态分布图，包括：
确定所述第一标注数据集的长度数据和宽度数据的数据均值；
根据所述数据均值对所述第一标注数据集进行高斯拟合，得到所述第一标注数据集对应的正态分布图。
5.根据权利要求1所述的方法，其特征在于：根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，包括：
通过频域特征算法提取所述感兴趣区域的多个特征检测点，以及所述特征检测点分别对应的频域特征；
根据所述频域特征确定所述待识别区域的材质类型是否为第一材质类型；
在所述待识别区域的材质类型不为第一材质类型的情况下，通过颜色模型算法确定所述多个特征检测点分别对应的色彩特征；
根据所述色彩特征确定所述待识别区域的材质类型为第二材质类型。
6.根据权利要求1所述的方法，其特征在于：通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息，包括：
通过颜色模型算法确定所述感兴趣区域的多个特征检测点的色彩特征，以及通过局部二值模式特征提取算法确定所述感兴趣区域的多个特征检测点的纹理特征；
根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型，包括：根据所述色彩特征和所述纹理特征确定所述待识别区域的材质类型。
7.根据权利要求6所述的方法，其特征在于：根据所述色彩特征和所述纹理特征确定所述待识别区域的材质类型，包括：
通过以下公式融合所述色彩特征和所述纹理特征：
Ff＝αFt+βFc，其中，Ff为融合后的特征信息，Ft为所述纹理特征，Fc为所述色彩特征，α为所述纹理特征的权重参数，β为所述色彩特征的权重参数；
根据所述融合后的特征信息确定所述待识别区域的材质类型。
8.根据权利要求1所述的方法，其特征在于：根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型之后，所述方法还包括：
确定所述移动机器人在获取所述图像信息时的状态信息，其中，状态信息包括：所述移动机器人的移动方向和所述移动机器人距离目标边界的距离信息；
确定所述移动方向是否为目标移动方向；
在所述移动方向不为目标移动方向的情况下，确定所述移动机器人距离目标边界的距离信息与预设距离的大小关系；
在所述大小关系指示所述距离信息大于所述预设距离的情况下，确定所述待识别区域的材质类型的有效性大于预设阈值。
9.根据权利要求1所述的方法，其特征在于，通过预设方法在移动机器人获取的图像信息中确定感兴趣区域之前，所述方法还包括：
确定所述移动机器人的位置信息；
根据所述位置信息确定所述移动机器人是否位于预设区域；
在所述感兴趣区域位于预设区域的情况下，根据区域与材质类型的对应关系确定所述待识别区域的材质类型为第三材质类型。
10.一种材质类型的识别装置，其特征在于：包括：
第一确定模块，用于在移动机器人获取的图像信息中确定感兴趣区域，其中，所述感兴趣区域用于指示所述移动机器人位于的区域中的待识别区域；
第二确定模块，用于通过特征提取算法确定所述感兴趣区域的多个特征检测点分别对应的特征信息；
第三确定模块，用于根据所述多个特征检测点分别对应的特征信息确定所述待识别区域的材质类型。
11.一种计算机可读的存储介质，其特征在于，所述计算机可读的存储介质包括存储的程序，其中，所述程序运行时执行上述权利要求1至9任一项中所述的方法。
12.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行所述权利要求1至9任一项中所述的方法。
CN202210529368.1A 2022-05-16 2022-05-16 材质类型的识别方法和装置、存储介质、电子装置 Pending CN117132800A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210529368.1A CN117132800A (zh) 2022-05-16 2022-05-16 材质类型的识别方法和装置、存储介质、电子装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210529368.1A CN117132800A (zh) 2022-05-16 2022-05-16 材质类型的识别方法和装置、存储介质、电子装置

Publications (1)

Publication Number Publication Date
CN117132800A true CN117132800A (zh) 2023-11-28

Family

ID=88855028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210529368.1A Pending CN117132800A (zh) 2022-05-16 2022-05-16 材质类型的识别方法和装置、存储介质、电子装置

Country Status (1)

Country Link
CN (1) CN117132800A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108734059A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 室内移动机器人物体识别方法
CN109195751A (zh) * 2016-09-14 2019-01-11 艾罗伯特公司 用于基于区分类的机器人的可配置操作的系统和方法
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质
WO2021004402A1 (zh) * 2019-07-05 2021-01-14 深圳数字生命研究院 图像识别方法及装置、存储介质和处理器
CN113449725A (zh) * 2021-06-30 2021-09-28 平安科技（深圳）有限公司 对象分类方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109195751A (zh) * 2016-09-14 2019-01-11 艾罗伯特公司 用于基于区分类的机器人的可配置操作的系统和方法
CN108734059A (zh) * 2017-04-18 2018-11-02 深圳市丰巨泰科电子有限公司 室内移动机器人物体识别方法
WO2021004402A1 (zh) * 2019-07-05 2021-01-14 深圳数字生命研究院 图像识别方法及装置、存储介质和处理器
CN111568314A (zh) * 2020-05-26 2020-08-25 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN113449725A (zh) * 2021-06-30 2021-09-28 平安科技（深圳）有限公司 对象分类方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
尹叶飞;吴秀清;: "基于决策树SVM分类器的感兴趣区域定位方法", 计算机仿真, no. 01, 20 January 2007 (2007-01-20) *

Similar Documents

Publication Publication Date Title
Kumar et al. Image based leaf segmentation and counting in rosette plants
Kalsotra et al. Background subtraction for moving object detection: explorations of recent developments and challenges
Zhao et al. Cloud shape classification system based on multi-channel cnn and improved fdm
CN110163236B (zh) 模型的训练方法和装置、存储介质、电子装置
CN105303150B (zh) 实现图像处理的方法和系统
CN108664924A (zh) 一种基于卷积神经网络的多标签物体识别方法
CN114299363A (zh) 图像处理模型的训练方法、图像分类方法及装置
CN113723157B (zh) 一种农作物病害识别方法、装置、电子设备及存储介质
CN103226835A (zh) 基于在线初始化梯度增强回归树的目标跟踪方法及系统
CN109034066A (zh) 基于多特征融合的建筑物识别方法
CN109426793A (zh) 一种图像行为识别方法、设备及计算机可读存储介质
CN108596102A (zh) 基于rgb-d的室内场景物体分割分类器构造方法
CN109063790B (zh) 对象识别模型优化方法、装置和电子设备
CN112036261A (zh) 手势识别方法、装置、存储介质、电子装置
CN108182423A (zh) 一种基于深度卷积神经网络的禽类动物行为识别方法
CN115376054B (zh) 一种目标检测方法、装置、设备及存储介质
Yiyang et al. Individual pig object detection algorithm based on Gaussian mixture model
CN106780376A (zh) 基于显著性检测和联合分割算法的背景图像分割方法
Li et al. Fast recognition of pig faces based on improved Yolov3
CN108427971A (zh) 基于移动终端的烟叶评级的方法及系统
Ott et al. Unsupervised incremental learning for long-term autonomy
CN114972540A (zh) 目标定位方法、装置、电子设备及存储介质
CN116740384B (zh) 洗地机的智能控制方法及系统
CN107705299B (zh) 基于多属性特征的图像质量分类方法
CN111291785A (zh) 目标检测的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination