CN117817211B - 基于机器视觉的焊接自动化控制方法及系统 - Google Patents

Abstract

本申请公开了基于机器视觉的焊接自动化控制方法及系统，涉及焊接加工技术领域，所述方法包括：根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；基于MSRCR算法对部件图像采集结果进行图像增强，获得部件图像数据；激活清洁度校验器，执行待焊接部件的清洁度验证；清洁度验证合格时，加载待焊接部件的部件焊接需求信息；基于部件焊接需求信息和部件图像数据，执行待焊接部件的焊接决策分析，获得部件焊接决策；将部件焊接决策发送至焊接机器人，焊接机器人根据部件焊接决策执行待焊接部件的焊接控制。解决了自动化程度低、适应性差、焊接质量不稳定的技术问题，实现了提高自动化水平与适应性、确保焊接质量的技术效果。

Description

基于机器视觉的焊接自动化控制方法及系统

技术领域

本发明涉及焊接加工技术领域，特别涉及基于机器视觉的焊接自动化控制方法及系统。

背景技术

焊接作为制造业一种重要的制造工艺在各个行业中得到了广泛应用。制造业的不断发展对焊接质量、效率和自动化程度提出了更高的要求。

现有的自动化焊接系统通常依赖人工经验和固定的参数，难以应对复杂的焊接环境和材料变化，并及时进行焊接参数的调整以保证焊接质量。存在自动化程度低、适应性差、焊接质量不稳定的技术问题。

发明内容

本申请提供基于机器视觉的焊接自动化控制方法及系统，以解决现有技术中自动化程度低、适应性差、焊接质量不稳定的技术问题，实现提高自动化水平与适应性、确保焊接质量的技术效果。

第一方面，本申请提供了基于机器视觉的焊接自动化控制方法，其中，所述方法包括：

根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；基于MSRCR算法对所述部件图像采集结果进行图像增强，获得部件图像数据；激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果；当所述部件清洁度验证结果为合格时，加载所述待焊接部件的部件焊接需求信息，其中，所述部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策；将所述部件焊接决策发送至焊接机器人，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制。

该方法中，通过机器视觉系统对待焊接部件进行图像采集，MSRCR算法对图像进行增强。有助于提高图像的质量和清晰度，使后续的图像处理和分析更为准确。激活清洁度校验器，结合部件图像数据执行清洁度验证。通过验证部件的清洁度，确保焊接过程中没有污染和杂质，从而提高焊接的质量和可靠性。根据部件的具体要求和实际图像信息，制定合适的焊接决策，以提高焊接效率和质量。将得到的部件焊接决策发送至焊接机器人，焊接机器人根据决策执行待焊接部件的焊接控制。实现了对焊接过程的自动化控制，减少了人为操作的干扰，提高了焊接的一致性和精度。

在一种可行的实现方式中，激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果，包括：

所述清洁度校验器包括清洁度识别模块和清洁度验证模块；

将所述部件图像数据输入所述清洁度识别模块，获得部件清洁度系数；

将所述部件清洁度系数输入所述清洁度验证模块，生成所述部件清洁度验证结果；

其中，所述清洁度验证模块包括清洁度验证条件，所述清洁度验证条件包括若所述部件清洁度系数大于/等于预设清洁度阈值，获得的所述部件清洁度验证结果为合格；

所述清洁度验证条件还包括若所述部件清洁度系数小于所述预设清洁度阈值，获得的所述部件清洁度验证结果为不合格，并生成部件清洁异常预警信号。

上述实现方式中的方法，通过分别构建清洁度识别模块和清洁度验证模块，形成清洁度校验器，实现了通过部件图像数据对目标原料表面质量进行评价和约束判别。清洁度校验器通过图像识别和验证模块的结合，提供了一种对焊接部件清洁度进行实时监测和验证的机制，从而有助于确保焊接过程中的清洁度达到预期水平。

在一种可行的实现方式中，所述方法包括：

加载样本部件图像数据记录和样本部件清洁度系数记录；

以所述样本部件图像数据记录作为输入数据，以所述样本部件清洁度系数记录作为输出监督数据，对卷积神经网络进行训练，每训练预设次数时，获取网络输出准确率；

若所述网络输出准确率大于/等于预设准确率，生成清洁度识别模型，并将所述清洁度识别模型嵌入至所述清洁度识别模块。

换而言之，获取的历史的部件图像数据与对应的清洁度系数记录。包含了清洁度系数与图像数据之间的复杂关联关系。以上述数据与记录为训练数据进行有监督训练，使得基于卷积神经网络的清洁度识别模型获取到了清洁度系数与图像数据的相关数据，进而建立二者之间的映射，实现从部件图像数据到清洁度系数的端到端转化。

在一种可行的实现方式中，基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策，包括：

根据ORB算法对所述部件图像数据进行特征识别，获得部件ORB特征数据；

加载多组样本部件焊接记录，其中，每组样本部件焊接记录包括样本部件型号信息、样本部件ORB特征数据、样本部件焊缝成形数据和样本部件焊接方案；

基于预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据对所述多组样本部件焊接记录进行焊接决策配准，获得部件焊接决策候选域；

基于预设寻优约束条件，根据所述部件焊缝成形需求数据对所述部件焊接决策候选域进行焊接决策寻优，生成所述部件焊接决策。

上述实现方式中的方法，基于预设特征孪生约束，结合部件型号信息和部件ORB特征数据，对多组样本部件焊接记录进行焊接决策配准，以确定哪个样本部件记录最适合当前待焊接的部件。进而得以根据相似性进行焊接决策的初步筛选。其中，预设特征孪生约束为一个阈值，用于根据所述部件型号信息和所述部件ORB特征数据判别多组样本部件焊接记录是否适用于当前任务。

换而言之，若多组样本部件焊接记录中存在一者或多者符合预设寻优约束条件，则说明上述的一个或多个样本部件焊接记录中的部件焊接决策与当前任务具有较高的适配度，可纳入后续决策优化的候选决策范围，进而通过优化步骤实现部件焊接决策的自适应生成。

在一种可行的实现方式中，基于预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据对所述多组样本部件焊接记录进行焊接决策配准，获得部件焊接决策候选域，包括：

根据所述多组样本部件焊接记录，提取第一组样本部件焊接记录，其中，所述第一组样本部件焊接记录包括第一样本部件型号信息、第一样本部件ORB特征数据、第一样本部件焊缝成形数据和第一样本部件焊接方案；

基于所述部件型号信息和所述第一样本部件型号信息执行型号孪生性分析，获得第一型号特征孪生系数；

基于所述部件ORB特征数据和所述第一样本部件ORB特征数据执行ORB特征孪生性分析，获得第一ORB特征孪生系数；

基于预设权重条件对所述第一型号特征孪生系数和所述第一ORB特征孪生系数进行加权计算，生成第一样本特征孪生系数；

判断所述第一样本特征孪生系数是否满足所述预设特征孪生约束；

若所述第一样本特征孪生系数满足所述预设特征孪生约束，将所述第一样本部件焊缝成形数据和所述第一样本部件焊接方案添加至所述部件焊接决策候选域；

以此类推，基于所述预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据继续对所述多组样本部件焊接记录进行焊接决策配准，构建所述部件焊接决策候选域。

在一种可行的实现方式中，基于预设寻优约束条件，根据所述部件焊缝成形需求数据对所述部件焊接决策候选域进行焊接决策寻优，生成所述部件焊接决策，包括：

根据所述部件焊接决策候选域，提取第一候选焊接决策、第二候选焊接决策，以及所述第一候选焊接决策、所述第二候选焊接决策分别对应的第一决策样本焊缝成形数据和第二决策样本焊缝成形数据；

基于所述部件焊缝成形需求数据，分别对所述第一决策样本焊缝成形数据和所述第二决策样本焊缝成形数据执行差异性识别，获得第一焊缝成形差异系数和第二焊缝成形差异系数；

基于所述第一焊缝成形差异系数、所述第二焊缝成形差异系数、所述第一候选焊接决策和所述第二候选焊接决策，筛选当前最优焊缝成形差异系数和当前最优焊接决策；

基于所述当前最优焊缝成形差异系数和所述当前最优焊接决策，根据所述部件焊缝成形需求数据继续对所述部件焊接决策候选域进行迭代寻优，当迭代寻优次数满足所述预设寻优约束条件时，得到所述部件焊接决策。

在一种可行的实现方式中，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制，包括：

根据所述机器视觉系统对所述待焊接部件进行焊接监测，获得部件焊接监测数据；

基于所述部件焊接监测数据进行焊缝成形特征识别，获取焊缝成形特征数据；

基于所述部件焊缝成形需求数据和所述焊缝成形特征数据进行一致性分析，获得焊缝成形需求匹配系数；

判断所述焊缝成形需求匹配系数是否满足预设需求匹配约束；

若所述焊缝成形需求匹配系数不满足所述预设需求匹配约束，生成焊缝成形预警信号。

第二方面，本申请还提供了基于机器视觉的焊接自动化控制系统，其中，所述系统包括：

图像采集模块，所述图像采集模块用于根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；

增强模块，所述增强模块用于基于MSRCR算法对所述部件图像采集结果进行图像增强，获得部件图像数据；

表面校验模块，所述表面校验模块用于激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果；

需求获取模块，所述需求获取模块用于当所述部件清洁度验证结果为合格时，加载所述待焊接部件的部件焊接需求信息，其中，所述部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；

焊接决策模块，所述焊接决策模块用于基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策；

控制执行模块，所述控制执行模块用于将所述部件焊接决策发送至焊接机器人，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制。

本发明公开了基于机器视觉的焊接自动化控制方法及系统，包括：根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；基于MSRCR算法对部件图像采集结果进行图像增强，获得部件图像数据；激活清洁度校验器，结合部件图像数据执行待焊接部件的清洁度验证，获得部件清洁度验证结果；当部件清洁度验证结果为合格时，加载待焊接部件的部件焊接需求信息，其中，部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；基于部件焊接需求信息和部件图像数据，激活焊接决策算法执行待焊接部件的焊接决策分析，获得部件焊接决策；将部件焊接决策发送至焊接机器人，焊接机器人根据部件焊接决策执行待焊接部件的焊接控制。本申请公开的基于机器视觉的焊接自动化控制方法及系统解决了自动化程度低、适应性差、焊接质量不稳定的技术问题，实现了提高自动化水平与适应性、确保焊接质量的技术效果。

附图说明

图1为本申请基于机器视觉的焊接自动化控制方法的流程示意图；

图2为本申请基于机器视觉的焊接自动化控制系统的结构示意图。

附图标记说明：图像采集模块11、增强模块12、表面校验模块13、需求获取模块14、焊接决策模块15、控制执行模块16。

具体实施方式

下面预先对本申请的实施例中涉及的一些用语进行解释。

焊接：包括电弧焊、气保焊、激光焊接、超声波焊接等用于实现部件之间连接的制造和装配方法；

部件焊接需求信息：对需要进行焊接的部件的具体要求和信息。可能包括部件的材料、尺寸、形状，以及焊接的特定要求，例如焊缝的位置、尺寸和质量标准等。

所述焊接机器人可以为电弧焊机器人、气保焊机器人、激光焊接机器人、超声波焊接机器人，或其他可以实现上述焊接所包含的方法的设备或装置。

本申请的实施例中所提供的技术方案，为解决现有技术存在的自动化程度低、适应性差、焊接质量不稳定的技术问题，所采用的整体思路如下：

首先，通过机器视觉系统对待焊接部件进行图像采集，获取部件图像采集结果。接着，基于MSRCR算法对部件图像采集结果进行图像增强，获得部件图像数据。而后，激活清洁度校验器，结合部件图像数据执行待焊接部件的清洁度验证，获得部件清洁度验证结果。当部件清洁度验证结果为合格时，加载待焊接部件的部件焊接需求信息，其中，部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据。基于部件焊接需求信息和部件图像数据，激活焊接决策算法执行待焊接部件的焊接决策分析，获得部件焊接决策。最后，将部件焊接决策发送至焊接机器人，焊接机器人根据部件焊接决策执行待焊接部件的焊接控制。

下面将结合说明书附图和具体的实施方式来对上述技术方案进行详细的说明，以更好的理解上述技术方案。显然，所描述的实施例仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受仅用于解释本申请的示例实施例的限制。基于本申请的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。此外，还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部。

实施例一

图1为本申请基于机器视觉的焊接自动化控制方法的流程示意图；其中，在一个实施例中，包括：

根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；

具体的，对待焊接部件进行图像采集后，获得的部件图像采集结果包含了待焊接部件焊接位置的图像数据。其中，机器视觉系统包含包括白光相机、红外相机、结构光相机、TOF等多种图像采集设备与对应的ISP组件，上述图像数据可以是全彩图像、红外图像、深度图像等。

示例性的，获取部件图像采集结果，首先，进行部件准备，确保部件摆放在适当的位置，并且具备良好的光照条件，以确保图像质量。而后，启动机器视觉系统，进行相关设置。包括调整相机参数、设置采集模式、定义焊接部件的位置和方向等。进而使用机器视觉系统对焊接部件进行图像采集。这涉及相机或传感器对焊接区域进行扫描或拍摄，以获取相应的图像数据。而后，对采集到的图像数据进行预处理。这可能包括去噪、图像增强、颜色校正等步骤，以提高图像质量和准确性。最后，将处理后的图像结果保存为数字化的数据。

上述过程利用机器视觉系统采集、处理和分析图像数据，以获取对待焊接部件的详细信息。这些信息可以在自动化焊接过程中用于质量控制、定位、路径规划等。

基于MSRCR算法对所述部件图像采集结果进行图像增强，获得部件图像数据；

其中，MSRCR(Multi-Scale Retinex with Color Restoration)是一种用于图像增强的算法，适用于光照不均匀或对比度较低的图像，故而可以较好的对所述部件图像采集结果中较不显著的细节特征进行增强，便于后续的识别。

示例性的，首先，使用高斯滤波器将原始图像分解成多个尺度的图像；而后，对每个尺度的图像进行对比度增强；接着，恢复对比度增强后失真的颜色信息；最后，将对比度增强和颜色恢复后的图像合成为增强后的图像。增强后的图像确保所需的特征得到突出，并且对焊接部件的关键信息有更好的可见性。

激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果；

其中，清洁度校验用于分析图像，检测表面缺陷、异物或不洁净区域。对确保焊接等工艺的成功和产品质量至关重要。通过使用机器视觉和清洁度校验器，可以自动执行这一过程，提高效率和准确性。

示例性的，清洁度校验器通过检测图像中不同颜色的区域，以确定可能的污染。分析图像中的纹理，寻找异常或不寻常的纹理特征，获取可能存在的缺陷。检测图像中的不同形状，确定是否存在异物或损伤。

进一步的，激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果，包括：

所述清洁度校验器包括清洁度识别模块和清洁度验证模块；

将所述部件图像数据输入所述清洁度识别模块，获得部件清洁度系数；

将所述部件清洁度系数输入所述清洁度验证模块，生成所述部件清洁度验证结果；

其中，所述清洁度验证模块包括清洁度验证条件，所述清洁度验证条件包括若所述部件清洁度系数大于/等于预设清洁度阈值，获得的所述部件清洁度验证结果为合格；

所述清洁度验证条件还包括若所述部件清洁度系数小于所述预设清洁度阈值，获得的所述部件清洁度验证结果为不合格，并生成部件清洁异常预警信号。

可选的，清洁度识别模块用于识别部件图像数据中可能存在缺陷等对焊接不利的特征，并基于识别结果进行清洁度评价，生成清洁度系数。其中，清洁度系数是对于部件图像数据的定量的评价指标，较高的

示例性的，将部件清洁度系数传送至所述清洁度验证模块，获取部件清洁度验证结果，该验证结果包括通过验证或不通过验证，这个结果可能是二进制的。

具体的，清洁度验证基于阈值检测执行：根据部件清洁度系数设定清洁度的阈值，判断是否满足清洁度标准。若部件清洁度系数大于或等于预设清洁度阈值，将部件清洁度验证结果标记为合格。如果部件清洁度系数小于预设清洁度阈值，将部件清洁度验证结果标记为不合格。同时，生成部件清洁异常预警信号。这个信号可用于通知相关人员或系统进行处置或调查，包括更换部件、重新对部件进行清洗、问题溯源等。

在一些实现方式中，所述方法包括：

加载样本部件图像数据记录和样本部件清洁度系数记录；

以所述样本部件图像数据记录作为输入数据，以所述样本部件清洁度系数记录作为输出监督数据，对卷积神经网络进行训练，每训练预设次数时，获取网络输出准确率；

若所述网络输出准确率大于/等于预设准确率，生成清洁度识别模型，并将所述清洁度识别模型嵌入至所述清洁度识别模块。

可选的，清洁度识别模块为基于卷积神经网络的监督训练结果。具体的，首先，提前准备样本部件图像数据记录和对应的样本部件清洁度系数记录，二者相互关联；而后，使用卷积神经网络(CNN)，将样本部件图像数据记录作为输入，样本部件清洁度系数记录作为输出。进行多次训练，并在每次训练结束时获取网络的输出准确率。接着，检查网络的输出准确率是否达到或超过预设准确率，确定模型是否训练得足够好。示例性的，约束条件包括连续预设次数准确率收敛、连续预设次数准确率达到或超过预设准确率、完成预设次数的迭代训练等。

可选的，若网络输出准确率达到或超过预设准确率，生成清洁度识别模型。并将生成的清洁度识别模型嵌入到清洁度识别模块中，以便用于实现端到端的清洁度验证。通过使用神经网络模型从样本数据中学习清洁度识别的模式，并在达到一定准确率后应用该模型进行实时的清洁度验证。

当所述部件清洁度验证结果为合格时，加载所述待焊接部件的部件焊接需求信息，其中，所述部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；

可选的，部件焊接需求信息通过解析目标焊接任务书等资料或由相关技术人员提供。以提高系统的灵活性，使其能够适应不同形式和来源的任务书等资料。符合实际情况中信息获取的多样性和复杂性。

其中，部件型号信息包括标识待焊接部件的具体型号、规格或者其他识别信息。这样的信息对于确认焊接的部件非常关键，以确保使用正确的焊接参数和程序。部件焊缝成形需求数据包括焊缝的形状、尺寸、位置等要求。以确保焊接后的质量符合设计要求，以及在焊接过程中准确地形成所需的焊缝。

基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策；

进一步的，基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策，包括：

根据ORB算法对所述部件图像数据进行特征识别，获得部件ORB特征数据；

加载多组样本部件焊接记录，其中，每组样本部件焊接记录包括样本部件型号信息、样本部件ORB特征数据、样本部件焊缝成形数据和样本部件焊接方案；

基于预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据对所述多组样本部件焊接记录进行焊接决策配准，获得部件焊接决策候选域；

基于预设寻优约束条件，根据所述部件焊缝成形需求数据对所述部件焊接决策候选域进行焊接决策寻优，生成所述部件焊接决策。

通过使用ORB算法对部件图像数据进行特征识别，获得部件的ORB特征数据。然后，加载多组样本部件焊接记录，其中每组记录包括了样本部件的型号信息、ORB特征数据、焊缝成形数据和焊接方案。进而利用多组样本数据进行学习和模型建立，以支持后续对部件的焊接进行更准确的分析和决策。

其中，ORB算法(Oriented FAST and Rotated BRIEF)一种计算机视觉算法，用于在图像中检测和描述关键特征点，具有旋转不变性和计算效率高的特点。将部件图像数据通过ORB算法进行处理，识别和提取图像中的关键点，并生成描述这些关键点的ORB特征数据。ORB特征数据是一种紧凑而高效的表示，用于表示图像中的结构和纹理。

具体的，多组样本部件焊接记录的每组样本部件焊接记录包括了多方面的信息，包括：标识部件的型号或类别，用于对不同类型的部件进行分类；通过ORB算法处理的图像特征数据，提供了关键点的位置和描述信息；描述焊缝的形状、结构或其他特性的样本部件焊缝成形数据；实际焊接操作的计划或步骤。

在一些实现方式中，基于预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据对所述多组样本部件焊接记录进行焊接决策配准，获得部件焊接决策候选域，包括：

根据所述多组样本部件焊接记录，提取第一组样本部件焊接记录，其中，所述第一组样本部件焊接记录包括第一样本部件型号信息、第一样本部件ORB特征数据、第一样本部件焊缝成形数据和第一样本部件焊接方案；

基于所述部件型号信息和所述第一样本部件型号信息执行型号孪生性分析，获得第一型号特征孪生系数；

基于所述部件ORB特征数据和所述第一样本部件ORB特征数据执行ORB特征孪生性分析，获得第一ORB特征孪生系数；

基于预设权重条件对所述第一型号特征孪生系数和所述第一ORB特征孪生系数进行加权计算，生成第一样本特征孪生系数；

判断所述第一样本特征孪生系数是否满足所述预设特征孪生约束；

若所述第一样本特征孪生系数满足所述预设特征孪生约束，将所述第一样本部件焊缝成形数据和所述第一样本部件焊接方案添加至所述部件焊接决策候选域；

以此类推，基于所述预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据继续对所述多组样本部件焊接记录进行焊接决策配准，构建所述部件焊接决策候选域。

具体的，首先，从多组样本部件焊接记录中提取第一组样本部件焊接记录，包括部件型号信息、ORB特征数据、焊缝成形数据和焊接方案。而后，将部件型号信息与第一样本部件型号信息进行比较，执行型号孪生性分析，获得第一型号特征孪生系数。该型号特征孪生系数反映了样本部件型号与待焊接部件型号之间的匹配程度。而后，将ORB特征数据与第一样本部件ORB特征数据进行比较，执行ORB特征孪生性分析，获得第一ORB特征孪生系数。该ORB特征孪生系数反映了样本部件特征与待焊接部件特征之间的相似程度。

可选的，基于预设权重条件，对第一型号特征孪生系数和第一ORB特征孪生系数进行加权计算，生成第一样本特征孪生系数。通过加权计算，充分的引入了影响焊接质量的不同因素之间的重要程度差异，进而获取更具有有效性的样本特征孪生系数。

可选的，若第一样本特征孪生系数不满足预设特征孪生约束，则将第一样本部件焊缝成形数据和第一样本部件焊接方案移除，并重新选取样本部件焊接方案。

上述步骤基于部件型号信息和ORB特征数据，通过特征孪生性分析和加权计算，判断样本部件是否满足预设的特征孪生约束。只有满足约束的样本部件才会被加入部件焊接决策候选域中。

在一些实现方式中，基于预设寻优约束条件，根据所述部件焊缝成形需求数据对所述部件焊接决策候选域进行焊接决策寻优，生成所述部件焊接决策，包括：

根据所述部件焊接决策候选域，提取第一候选焊接决策、第二候选焊接决策，以及所述第一候选焊接决策、所述第二候选焊接决策分别对应的第一决策样本焊缝成形数据和第二决策样本焊缝成形数据；

基于所述部件焊缝成形需求数据，分别对所述第一决策样本焊缝成形数据和所述第二决策样本焊缝成形数据执行差异性识别，获得第一焊缝成形差异系数和第二焊缝成形差异系数；

基于所述第一焊缝成形差异系数、所述第二焊缝成形差异系数、所述第一候选焊接决策和所述第二候选焊接决策，筛选当前最优焊缝成形差异系数和当前最优焊接决策；

基于所述当前最优焊缝成形差异系数和所述当前最优焊接决策，根据所述部件焊缝成形需求数据继续对所述部件焊接决策候选域进行迭代寻优，当迭代寻优次数满足所述预设寻优约束条件时，得到所述部件焊接决策。

可选的，于部件焊接决策候选域中进行随机提取，获得第一和第二候选焊接决策，以及它们对应的第一和第二决策样本焊缝成形数据。而后，基于部件焊缝成形需求数据，分别对第一和第二决策样本焊缝成形数据执行差异性识别，获得第一和第二焊缝成形差异系数。该成形差异系数量化的评价了第一和第二决策样本焊缝成型数据与目标成型数据的偏差大小。具有较小的成型差异系数的候选焊接决策具有较好的焊接质量。换而言之，成型差异系数值低的决策样本焊缝成形数据更能贴近部件焊缝成形需求。故而选取第一焊缝成形差异系数、第二焊缝成形差异系数中的最小值及第一候选焊接决策和所述第二候选焊接决策中当前最优焊缝成形差异系数对应的候选焊接决策，存储为当前最优焊缝成形差异系数和当前最优焊接决策。用于后续的决策优化。

可选的，基于当前最优结果，继续对部件焊接决策候选域进行迭代寻优。在每次迭代中，根据部件焊缝成形需求数据，执行差异性识别，获得新的焊缝成形差异系数和对应的焊接决策，判断迭代寻优次数是否满足预设的寻优约束条件。当迭代次数满足寻优约束条件即迭代寻优次数阈值时，得到最终的部件焊接决策。

可选的，若当迭代次数满足寻优约束条件即迭代寻优次数阈值时，获得新的焊缝成形差异系数不优于当前最优焊缝成形差异系数，则将当前最优焊缝成形差异系数存储为部件焊接决策。

将所述部件焊接决策发送至焊接机器人，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制。

进一步的，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制，包括：

根据所述机器视觉系统对所述待焊接部件进行焊接监测，获得部件焊接监测数据；

基于所述部件焊接监测数据进行焊缝成形特征识别，获取焊缝成形特征数据；

基于所述部件焊缝成形需求数据和所述焊缝成形特征数据进行一致性分析，获得焊缝成形需求匹配系数；

判断所述焊缝成形需求匹配系数是否满足预设需求匹配约束；

若所述焊缝成形需求匹配系数不满足所述预设需求匹配约束，生成焊缝成形预警信号。

可选的，焊接机器人通过机器视觉系统对待焊接部件进行监测，获取焊接监测数据。其中，焊接监测数据包括焊接过程中的图像、视频或其他相关数据。用于基于焊接监测数据，执行焊缝成形特征识别。

可选的，若焊缝成形需求匹配系数不满足预设需求匹配约束，生成焊缝成形预警信号。用于提醒操作员或系统管理员存在潜在的焊接问题，需要进一步的调整或干预。

综上所述，本发明所提供的基于机器视觉的焊接自动化控制方法具有如下技术效果：

通过机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；基于MSRCR算法对部件图像采集结果进行图像增强，获得部件图像数据；激活清洁度校验器，结合部件图像数据执行待焊接部件的清洁度验证，获得部件清洁度验证结果；当部件清洁度验证结果为合格时，加载待焊接部件的部件焊接需求信息，其中，部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；基于部件焊接需求信息和部件图像数据，激活焊接决策算法执行待焊接部件的焊接决策分析，获得部件焊接决策；将部件焊接决策发送至焊接机器人，焊接机器人根据部件焊接决策执行待焊接部件的焊接控制。本申请公开的基于机器视觉的焊接自动化控制方法及系统解决了自动化程度低、适应性差、焊接质量不稳定的技术问题，实现了提高自动化水平与适应性、确保焊接质量的技术效果。

实施例二

图2是本申请基于机器视觉的焊接自动化控制系统的结构示意图。例如，图1中本申请基于机器视觉的焊接自动化控制方法的流程示意图可以通过如图2所示的结构实现。

基于与所述实施例中基于机器视觉的焊接自动化控制方法同样的构思，本申请还提供的基于机器视觉的焊接自动化控制系统包括：

图像采集模块11，用于根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；

增强模块12，用于基于MSRCR算法对所述部件图像采集结果进行图像增强，获得部件图像数据；

表面校验模块13，用于激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果；

需求获取模块14，用于当所述部件清洁度验证结果为合格时，加载所述待焊接部件的部件焊接需求信息，其中，所述部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；

焊接决策模块15，用于基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策；

控制执行模块16，用于将所述部件焊接决策发送至焊接机器人，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制。

其中，表面校验模块13包括：

清洁度识别单元，通过将所述部件图像数据输入所述清洁度识别模块，获得部件清洁度系数；

清洁度验证单元，通过将所述部件清洁度系数输入所述清洁度验证模块，生成所述部件清洁度验证结果；

其中，所述清洁度验证模块包括清洁度验证条件，所述清洁度验证条件包括若所述部件清洁度系数大于/等于预设清洁度阈值，获得的所述部件清洁度验证结果为合格；

所述清洁度验证条件还包括若所述部件清洁度系数小于所述预设清洁度阈值，获得的所述部件清洁度验证结果为不合格，并生成部件清洁异常预警信号。

进一步的，表面校验模块13还包括：

样本获取单元，用于加载样本部件图像数据记录和样本部件清洁度系数记录；

迭代训练单元，用于以所述样本部件图像数据记录作为输入数据，以所述样本部件清洁度系数记录作为输出监督数据，对卷积神经网络进行训练，每训练预设次数时，获取网络输出准确率；

约束嵌入单元，用于若所述网络输出准确率大于/等于预设准确率，生成清洁度识别模型，并将所述清洁度识别模型嵌入至所述清洁度识别模块。

其中，焊接决策模块15包括：

特征提取单元，用于根据ORB算法对所述部件图像数据进行特征识别，获得部件ORB特征数据；

记录获取单元，用于加载多组样本部件焊接记录，其中，每组样本部件焊接记录包括样本部件型号信息、样本部件ORB特征数据、样本部件焊缝成形数据和样本部件焊接方案；

区域配置单元，用于基于预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据对所述多组样本部件焊接记录进行焊接决策配准，获得部件焊接决策候选域；

决策适应单元，用于基于预设寻优约束条件，根据所述部件焊缝成形需求数据对所述部件焊接决策候选域进行焊接决策寻优，生成所述部件焊接决策。

在一些实现方式中，区域配置单元中包括：

记录提取单元，用于根据所述多组样本部件焊接记录，提取第一组样本部件焊接记录，其中，所述第一组样本部件焊接记录包括第一样本部件型号信息、第一样本部件ORB特征数据、第一样本部件焊缝成形数据和第一样本部件焊接方案；

型号孪生性分析单元，用于基于所述部件型号信息和所述第一样本部件型号信息执行型号孪生性分析，获得第一型号特征孪生系数；

ORB孪生性分析单元，用于基于所述部件ORB特征数据和所述第一样本部件ORB特征数据执行ORB特征孪生性分析，获得第一ORB特征孪生系数；

孪生加总单元，用于基于预设权重条件对所述第一型号特征孪生系数和所述第一ORB特征孪生系数进行加权计算，生成第一样本特征孪生系数；

孪生约束单元，用于判断所述第一样本特征孪生系数是否满足所述预设特征孪生约束；

决策候选域构建单元，用于若所述第一样本特征孪生系数满足所述预设特征孪生约束，将所述第一样本部件焊缝成形数据和所述第一样本部件焊接方案添加至所述部件焊接决策候选域；

以此类推，基于所述预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据继续对所述多组样本部件焊接记录进行焊接决策配准，构建所述部件焊接决策候选域。

在一些实现方式中，决策适应单元中包括：

决策提取单元，用于根据所述部件焊接决策候选域，提取第一候选焊接决策、第二候选焊接决策，以及所述第一候选焊接决策、所述第二候选焊接决策分别对应的第一决策样本焊缝成形数据和第二决策样本焊缝成形数据；

差异计算单元，用于基于所述部件焊缝成形需求数据，分别对所述第一决策样本焊缝成形数据和所述第二决策样本焊缝成形数据执行差异性识别，获得第一焊缝成形差异系数和第二焊缝成形差异系数；

决策优选单元，用于基于所述第一焊缝成形差异系数、所述第二焊缝成形差异系数、所述第一候选焊接决策和所述第二候选焊接决策，筛选当前最优焊缝成形差异系数和当前最优焊接决策；

决策优化单元，用于基于所述当前最优焊缝成形差异系数和所述当前最优焊接决策，根据所述部件焊缝成形需求数据继续对所述部件焊接决策候选域进行迭代寻优，当迭代寻优次数满足所述预设寻优约束条件时，得到所述部件焊接决策。

其中，控制执行模块16包括：

焊接监测单元，用于根据所述机器视觉系统对所述待焊接部件进行焊接监测，获得部件焊接监测数据；

成形特征识别单元，用于基于所述部件焊接监测数据进行焊缝成形特征识别，获取焊缝成形特征数据；

一致性分析单元，用于基于所述部件焊缝成形需求数据和所述焊缝成形特征数据进行一致性分析，获得焊缝成形需求匹配系数；

匹配约束单元，用于判断所述焊缝成形需求匹配系数是否满足预设需求匹配约束；

成形预警单元，用于若所述焊缝成形需求匹配系数不满足所述预设需求匹配约束，生成焊缝成形预警信号。

应当理解的是，本说明书中所提及的实施例重点在其与其他实施例的不同，前述实施例一中的具体实施例，同样适用于实施例二所述的基于机器视觉的焊接自动化控制系统，为了说明书的简洁，在此不做进一步的展开。

应当理解的是，本申请所公开的实施例及上述说明，可以使得本领域的技术人员运用本申请实现本申请。同时本申请不被限制于上述所提到的这部分实施例，应当理解：本领域的普通技术人员依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (6)

1.基于机器视觉的焊接自动化控制方法，其特征在于，所述方法包括：

根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；

基于MSRCR算法对所述部件图像采集结果进行图像增强，获得部件图像数据；

激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果；

当所述部件清洁度验证结果为合格时，加载所述待焊接部件的部件焊接需求信息，其中，所述部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；

基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策；

将所述部件焊接决策发送至焊接机器人，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制；

其中，激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果，包括：

所述清洁度校验器包括清洁度识别模块和清洁度验证模块；

将所述部件图像数据输入所述清洁度识别模块，获得部件清洁度系数；

将所述部件清洁度系数输入所述清洁度验证模块，生成所述部件清洁度验证结果；

其中，所述清洁度验证模块包括清洁度验证条件，所述清洁度验证条件包括若所述部件清洁度系数大于/等于预设清洁度阈值，获得的所述部件清洁度验证结果为合格；

所述清洁度验证条件还包括若所述部件清洁度系数小于所述预设清洁度阈值，获得的所述部件清洁度验证结果为不合格，并生成部件清洁异常预警信号；

加载样本部件图像数据记录和样本部件清洁度系数记录；

以所述样本部件图像数据记录作为输入数据，以所述样本部件清洁度系数记录作为输出监督数据，对卷积神经网络进行训练，每训练预设次数时，获取网络输出准确率；

若所述网络输出准确率大于/等于预设准确率，生成清洁度识别模型，并将所述清洁度识别模型嵌入至所述清洁度识别模块。

2.如权利要求1所述的方法，其特征在于，基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策，包括：

根据ORB算法对所述部件图像数据进行特征识别，获得部件ORB特征数据；

加载多组样本部件焊接记录，其中，每组样本部件焊接记录包括样本部件型号信息、样本部件ORB特征数据、样本部件焊缝成形数据和样本部件焊接方案；

基于预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据对所述多组样本部件焊接记录进行焊接决策配准，获得部件焊接决策候选域；

基于预设寻优约束条件，根据所述部件焊缝成形需求数据对所述部件焊接决策候选域进行焊接决策寻优，生成所述部件焊接决策。

3.如权利要求2所述的方法，其特征在于，基于预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据对所述多组样本部件焊接记录进行焊接决策配准，获得部件焊接决策候选域，包括：

根据所述多组样本部件焊接记录，提取第一组样本部件焊接记录，其中，所述第一组样本部件焊接记录包括第一样本部件型号信息、第一样本部件ORB特征数据、第一样本部件焊缝成形数据和第一样本部件焊接方案；

基于所述部件型号信息和所述第一样本部件型号信息执行型号孪生性分析，获得第一型号特征孪生系数；

基于所述部件ORB特征数据和所述第一样本部件ORB特征数据执行ORB特征孪生性分析，获得第一ORB特征孪生系数；

基于预设权重条件对所述第一型号特征孪生系数和所述第一ORB特征孪生系数进行加权计算，生成第一样本特征孪生系数；

判断所述第一样本特征孪生系数是否满足所述预设特征孪生约束；

若所述第一样本特征孪生系数满足所述预设特征孪生约束，将所述第一样本部件焊缝成形数据和所述第一样本部件焊接方案添加至所述部件焊接决策候选域；

以此类推，基于所述预设特征孪生约束，根据所述部件型号信息和所述部件ORB特征数据继续对所述多组样本部件焊接记录进行焊接决策配准，构建所述部件焊接决策候选域。

4.如权利要求2所述的方法，其特征在于，基于预设寻优约束条件，根据所述部件焊缝成形需求数据对所述部件焊接决策候选域进行焊接决策寻优，生成所述部件焊接决策，包括：

根据所述部件焊接决策候选域，提取第一候选焊接决策、第二候选焊接决策，以及所述第一候选焊接决策、所述第二候选焊接决策分别对应的第一决策样本焊缝成形数据和第二决策样本焊缝成形数据；

基于所述部件焊缝成形需求数据，分别对所述第一决策样本焊缝成形数据和所述第二决策样本焊缝成形数据执行差异性识别，获得第一焊缝成形差异系数和第二焊缝成形差异系数；

基于所述第一焊缝成形差异系数、所述第二焊缝成形差异系数、所述第一候选焊接决策和所述第二候选焊接决策，筛选当前最优焊缝成形差异系数和当前最优焊接决策；

基于所述当前最优焊缝成形差异系数和所述当前最优焊接决策，根据所述部件焊缝成形需求数据继续对所述部件焊接决策候选域进行迭代寻优，当迭代寻优次数满足所述预设寻优约束条件时，得到所述部件焊接决策。

5.如权利要求1所述的方法，其特征在于，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制，包括：

根据所述机器视觉系统对所述待焊接部件进行焊接监测，获得部件焊接监测数据；

基于所述部件焊接监测数据进行焊缝成形特征识别，获取焊缝成形特征数据；

基于所述部件焊缝成形需求数据和所述焊缝成形特征数据进行一致性分析，获得焊缝成形需求匹配系数；

判断所述焊缝成形需求匹配系数是否满足预设需求匹配约束；

若所述焊缝成形需求匹配系数不满足所述预设需求匹配约束，生成焊缝成形预警信号。

6.基于机器视觉的焊接自动化控制系统，其特征在于，所述系统包括：

图像采集模块，所述图像采集模块用于根据机器视觉系统对待焊接部件进行图像采集，获得部件图像采集结果；

增强模块，所述增强模块用于基于MSRCR算法对所述部件图像采集结果进行图像增强，获得部件图像数据；

表面校验模块，所述表面校验模块用于激活清洁度校验器，结合所述部件图像数据执行所述待焊接部件的清洁度验证，获得部件清洁度验证结果；

需求获取模块，所述需求获取模块用于当所述部件清洁度验证结果为合格时，加载所述待焊接部件的部件焊接需求信息，其中，所述部件焊接需求信息包括部件型号信息和部件焊缝成形需求数据；

焊接决策模块，所述焊接决策模块用于基于所述部件焊接需求信息和所述部件图像数据，激活焊接决策算法执行所述待焊接部件的焊接决策分析，获得部件焊接决策；

控制执行模块，所述控制执行模块用于将所述部件焊接决策发送至焊接机器人，所述焊接机器人根据所述部件焊接决策执行所述待焊接部件的焊接控制；

清洁度识别单元，通过将所述部件图像数据输入清洁度识别模块，获得部件清洁度系数；

清洁度验证单元，通过将所述部件清洁度系数输入清洁度验证模块，生成所述部件清洁度验证结果；

其中，所述清洁度验证模块包括清洁度验证条件，所述清洁度验证条件包括若所述部件清洁度系数大于/等于预设清洁度阈值，获得的所述部件清洁度验证结果为合格；

所述清洁度验证条件还包括若所述部件清洁度系数小于所述预设清洁度阈值，获得的所述部件清洁度验证结果为不合格，并生成部件清洁异常预警信号；

样本获取单元，用于加载样本部件图像数据记录和样本部件清洁度系数记录；

迭代训练单元，用于以所述样本部件图像数据记录作为输入数据，以所述样本部件清洁度系数记录作为输出监督数据，对卷积神经网络进行训练，每训练预设次数时，获取网络输出准确率；

约束嵌入单元，用于若所述网络输出准确率大于/等于预设准确率，生成清洁度识别模型，并将所述清洁度识别模型嵌入至所述清洁度识别模块。