CN117991897B - 基于虚实融合的人机协同状态反馈方法、装置及电子设备 - Google Patents

Abstract

本发明公开了一种基于虚实融合的人机协同状态反馈方法、装置及电子设备。首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，以提高人机协同过程中的效率和安全性。人机协同系统根据不同的反馈状态做出相应的调整，实现更灵活和适应性的协同过程。

Description

基于虚实融合的人机协同状态反馈方法、装置及电子设备

技术领域

本发明涉及人机协同技术领域，尤其涉及一种基于虚实融合的人机协同状态反馈方法、装置及电子设备。

背景技术

随着工业化、自动化、智能化的发展，人工智能、虚拟现实技术、增强现实技术被广泛应用于人机协同系统中，以促进人与机器之间的交互协同。因此，需要提出一种基于虚实融合的人机协同状态反馈方法。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明提出一种基于虚实融合的人机协同状态反馈方法、装置及电子设备。

本发明提供一种基于虚实融合的人机协同状态反馈方法，所述方法包括：获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈。

本发明中，首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，以提高人机协同过程中的效率和安全性。人机协同系统根据不同的反馈状态做出相应的调整，实现更灵活和适应性的协同过程。此外，基于对人机协同过程进行状态反馈，还可以为后续任务执行做出决策。通过优化人机协同过程中的流程，改善操作对象的工作条件与状态，实现可持续的人机协同。

在其中一个实施方式，所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；所述基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据，包括：基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况；其中，所述注视位置变化情况用于描述所述操作对象的注视位置随着所述当前作业任务的执行时间变化的情况；基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据。

本实施方式中，基于眼动信号数据进行注视位置的识别，得到操作对象的注视位置变化情况，基于注视位置变化情况判断操作对象是否对当前作业任务的下一作业任务进行预判，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而更好地协助操作对象完成任务。

在其中一个实施方式，所述基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况，包括：基于所述眼动信号数据确定所述操作对象的注视点扫描路径；基于所述注视点扫描路径确定所述操作对象的注视位置变化情况。

本实施方式中，基于眼动信号数据确定操作对象的注视点扫描路径，基于注视点扫描路径确定操作对象的注视位置变化情况，可以推测操作对象的意图和预期行为。

在其中一个实施方式，所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；所述基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据，包括：基于所述注视位置变化情况判断所述操作对象的至少部分注视资源是否从所述当前任务区域范围转移至所述下一任务区域范围，得到所述任务预判状态数据。

本实施方式中，基于注视位置变化情况判断操作对象的至少部分注视资源是否从当前任务区域范围转移至下一任务区域范围，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而确定操作对象的状态，以更好地引导操作对象完成任务。

在其中一个实施方式，所述人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个；所述方法还包括：基于所述脑电信号数据进行负荷状态识别，得到所述操作对象的负荷状态数据；基于所述皮电信号数据和所述心率信号数据进行情绪状态识别，得到所述操作对象的情绪状态数据；根据所述负荷状态数据和/或所述情绪状态数据对所述操作对象的工作状态进行预警。

本实施方式中，基于脑电信号数据进行负荷状态识别，得到操作对象的负荷状态数据，基于皮电信号数据和心率信号数据进行情绪状态识别，得到操作对象的情绪状态数据，根据负荷状态数据和/或情绪状态数据对操作对象的工作状态进行预警，可以及时发现并应对操作对象的疲劳、压力和负面情绪，提高工作效率、安全性和满意度，预防工作事故和错误的发生。

在其中一个实施方式，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，作为所述目标协同状态数据；或者根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，根据所述当前协同状态数据确定所述当前作业任务的相邻作业任务的所述目标协同状态数据。

本实施方式中，根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，作为目标协同状态数据，或者根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，根据当前协同状态数据确定当前作业任务的相邻作业任务的目标协同状态数据，为人机协同过程提供重要的信息。

在其中一个实施方式，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：将所述作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到所述目标协同状态数据。

本实施方式中，将作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到目标协同状态数据，为人机协同过程提供重要的信息。

在其中一个实施方式，通过以下方式训练得到所述目标状态识别模型：获取对历史作业过程进行拍摄得到的样本画面图像；其中，所述样本画面图像的标签包括标注任务标识、标注动作数据、所述标注动作数据对应的标注工具类别；将所述样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、所述预测动作数据对应的预测工具类别；基于所述标注任务标识、所述标注动作数据、所述标注工具类别、所述预测任务标识、所述预测动作数据以及所述预测工具类别对所述初始状态识别模型进行更新，得到所述目标状态识别模型。

本实施方式中，获取对历史作业过程进行拍摄得到的样本画面图像，将样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、预测动作数据对应的预测工具类别，基于标注任务标识、标注动作数据、标注工具类别、预测任务标识、预测动作数据以及预测工具类别对初始状态识别模型进行更新，得到目标状态识别模型，以便于基于作业画面图像进行人机协同状态识别，从而能够及时知悉当前作业任务对应的目标协同状态数据。

在其中一个实施方式，通过以下方式确定所述样本画面图像的标签：对所述历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务；基于所述作业任务的任务标识确定所述标注任务标识；基于所述样本作业任务所涉及的动作进行编码，得到所述标注动作数据；基于执行所述样本作业任务所涉及的动作时所使用的工具进行编码，得到所述标注工具类别。

本实施方式中，对历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务，基于作业任务的任务标识确定标注任务标识，基于样本作业任务所涉及的动作进行编码，得到标注动作数据，基于执行样本作业任务所涉及的动作时所使用的工具进行编码，得到标注工具类别，从而能够在计算机设备中有效地表示动作、工具等任务信息，为后续目标状态识别模型的训练过程提供数据支持。

在其中一个实施方式，所述根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈，包括：根据所述目标协同状态数据确定所述当前作业任务的下一作业任务的预备状态数据；其中，所述预备状态数据用于表征所述操作对象需要为所述下一作业任务进行预先准备的情况；基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈。

本实施方式中，根据目标协同状态数据确定当前作业任务的下一作业任务的预备状态数据，基于预备状态数据和人员状态数据对人机协同过程进行状态反馈，可以使人机协同更加高效和可靠。

在其中一个实施方式，所述基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈，包括：确定与所述人员状态数据对应的目标提醒方式；以所述目标提醒方式展示所述预备状态数据，以提醒所述操作对象为所述下一作业任务进行预先准备。

本实施方式中，确定与人员状态数据对应的目标提醒方式，以目标提醒方式展示预备状态数据，以提醒操作对象为下一作业任务进行预先准备，帮助操作对象避免遗漏关键步骤或所需资源，减少因为缺乏准备而导致的错误和失误。

在其中一个实施方式，所述方法还包括：基于针对所述人机协同过程反馈的状态数据进行决策控制，以按照与所述当前作业任务的下一作业任务的匹配的执行方式执行所述下一作业任务，其中，所述执行方式为人机协同方式、人主导方式、机器主导方式中任一个。

本实施方式中，基于针对人机协同过程反馈的状态数据进行决策控制，以按照与当前作业任务的下一作业任务的匹配的执行方式执行下一作业任务可以有效平衡人的决策和机的决策问题，以提高协同过程的效率和安全性。

本发明提供一种基于虚实融合的人机协同状态反馈装置，所述装置包括：

任务数据获取模块，用于获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；

人机协同状态识别模块，用于基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；

人员状态识别模块，用于基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；

状态反馈模块，用于根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈。

本发明提供一种电子设备，所述电子设备包括：存储器，以及与所述存储器通信连接的一个或多个处理器；所述存储器中存储有可被所述一个或多个处理器执行的指令，所述指令被所述一个或多个处理器执行，以使所述一个或多个处理器实现上述任一项实施方式所述的方法的步骤。

本发明提供计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项实施方式所述的方法的步骤。

本发明提供一种计算机程序产品，所述计算机程序产品中包括指令，所述指令被计算机设备的处理器执行时，使得所述计算机设备能够执行上述任一项实施方式所述的方法的步骤。

本发明中，首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，以提高人机协同过程中的效率和安全性。人机协同系统根据不同的反馈状态做出相应的调整，实现更灵活和适应性的协同过程。此外，基于对人机协同过程进行状态反馈，还可以为后续任务执行做出决策。通过优化人机协同过程中的流程，改善操作对象的工作条件与状态，实现可持续的人机协同。

附图说明

图1a为本说明书实施方式提供的基于虚实融合的人机协同状态反馈方法的场景示意图；

图1b为本说明书实施方式提供的基于虚实融合的人机协同状态反馈方法的流程示意图；

图2为本说明书实施方式提供的得到任务预判状态数据的流程示意图；

图3a为本说明书实施方式提供的确定操作对象的注视位置变化情况的流程示意图；

图3b为本说明书实施方式提供的注视点扫描路径的示意图；

图4为本说明书实施方式提供的眼动注视资源随时间的变化情况的示意图；

图5为本说明书实施方式提供的对操作对象的工作状态进行预警的流程示意图；

图6为本说明书实施方式提供的得到目标状态识别模型的流程示意图；

图7a为本说明书实施方式提供的确定样本画面图像的标签的流程示意图；

图7b为本说明书实施方式提供的作业过程分解的示意图；

图8为本说明书实施方式提供的对人机协同过程进行状态反馈的流程示意图；

图9为本说明书实施方式提供的提醒操作对象为下一作业任务进行预先准备的流程示意图；

图10a为本说明书实施方式提供的对当前作业任务进行预警反馈的示意图；

图10b为本说明书实施方式提供的基于虚实融合的人机协同状态反馈方法的流程示意图；

图11为本说明书实施方式提供的基于虚实融合的人机协同状态反馈装置的示意图；

图12为本说明书实施方式提供的电子设备的内部结构图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

随着工业化、自动化、智能化的发展，人工智能、虚拟现实技术和增强现实技术被广泛应用于人机协同系统中，以促进人与机器之间的交互协同。本说明书实施方式提供一种基于虚实融合的人机协同状态反馈方法。该基于虚实融合的人机协同状态反馈方法可以通过结合增强现实技术，实时对人机协同过程中人员状态和人机协同状态进行识别，并给予反馈。

具体地，首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，以提高人机协同过程中的效率和安全性。人机协同系统根据不同的反馈状态做出相应的调整，实现更灵活和适应性的协同过程。此外，基于对人机协同过程进行状态反馈，还可以为后续任务执行做出决策。通过优化人机协同过程中的流程，改善操作对象的工作条件与状态，实现可持续的人机协同。

本说明书实施方式提供的基于虚实融合的人机协同状态反馈方法可以应用于增强现实设备。请参阅图1a，该基于虚实融合的人机协同状态反馈方法可以包括增强现实模块、状态识别模块、实时反馈模块。增强现实模块可以通过增强现实设备实现。状态识别模块和实时反馈模块可以部署在处理设备，比如计算机上。在执行任务A前，处理设备可以利用任务A分解得到的多个子任务、执行每个子任务所需的动作以及执行每个子任务所涉及的动作时所使用的工具进行模型训练，以获得目标状态识别模型。增强现实设备一方面在执行任务A过程中提供场景的呈现，另一方面通过集成在增强现实设备上的摄像装置实时采集任务A执行过程中的人机协同画面，得到至少包括操作设备及操作环境的设定参数的作业画面图像。同时通过集成在增强现实设备上的传感器对操作对象的眼动、生理、脑电信号等数据进行采集，得到操作对象的人因数据。增强现实设备将采集到的人因数据和作业画面图像上传至处理设备。

处理设备利用目标状态识别模型对采集到的作业画面图像进行人机协同状态识别，得到当前子任务对应的目标协同状态数据，然后根据目标协同状态数据确定当前子任务的下一子任务的预备状态数据。处理设备还会对采集到的人因数据进行人员状态识别，得到操作对象的人员状态数据。处理设备根据预备状态数据和人员状态数据，在增强现实设备的AR界面上显示对人机协同过程的预警以及实时画面，以实现反馈预警。处理设备还可以根据预备状态数据和人员状态数据对人机协同过程进行状态反馈。

为了实现人-机决策，根据针对人机协同过程反馈的状态数据确定与当前子任务的下一子任务匹配的执行方式，包括人机协同方式、人主导方式和机器主导方式。然后，按照所确定的执行方式来执行下一子任务，以实现命令控制。

本说明书实施方式提供一种基于虚实融合的人机协同状态反馈方法，请参阅图1b，该基于虚实融合的人机协同状态反馈方法可以包括以下步骤：

S110、获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的作业画面图像。

其中，作业任务可以是一个完整的工作流程，也可以是一个特定的子任务或操作步骤。比如，作业任务可以是工厂生产线上的某个操作步骤、机场货运装卸过程中的某个环节。人机协同过程可以是操作对象与操作设备之间共同合作完成特定任务的过程。在人机协同过程中，操作对象和操作设备彼此配合，通过交互、信息交流和互相支持来实现共同的目标。操作对象可以是进行当前作业任务的人类工作者。人因数据可以是与操作对象有关的生理数据和/或行为数据，比如脑电波、心率、呼吸等生物信号，以及行动、反应时间等行为信息。作业画面图像可以是在人机协同过程中，通过拍摄设备(如摄像头)获取的人机协同过程的图像。作业画面图像至少包括操作设备及操作环境的设定参数。操作设备可以是在人机协同过程中由人员使用的设备或机器，用于完成特定的操作任务。操作环境的设定参数可以是在人机协同过程中为确保工作的正确进行所设置和调整的参数。

具体地，因为人机协同过程中，操作设备需要与操作对象共同完成一些特定的任务，所以在当前作业任务的人机协同过程中，通过传感器(比如脑电图(EEG)、心率监测仪)或其他技术设备进行数据的采集和记录，得到操作对象的人因数据，以便帮助操作设备更好地理解和适应操作对象的状态和需求。以及在人机协同过程中，通过图像采集设备对人机协同过程进行拍摄，得到至少包括操作设备及操作环境的设定参数的作业画面图像，可以使操作设备对任务背景进行感知和理解，从而更好地辅助操作对象完成任务，其中，图像采集设备可以是照相机、摄影机、鱼眼相机、监控摄像头中的任一种。

在一些实施方式中，通过在增强现实设备(比如AR眼镜)上增加采集眼动、生理、脑电信号等人因数据的传感器，实现对眼动数据、生理数据、脑电信号数据等人因数据的采集，得到当前作业任务的人机协同过程中操作对象的人因数据。同时，通过集成在增强现实设备上的摄像装置实现对人机操作作业画面的实时采集，得到至少包括操作设备及操作环境的设定参数的作业画面图像。

在一些情况下，可以对通过传感器(比如脑电图(EEG)、心率监测仪)或其他技术设备得到操作对象的数据以及通过图像采集设备进行拍摄得到的画面图像，进行数据预处理(比如去除噪声、标准化数据格式、平滑处理)，得到人因数据以及作业画面图像，以提高后续分析的准确性和可靠性。

S120、基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据。

其中，人机协同状态可以是在操作对象与操作设备之间进行协同任务时，操作对象与操作设备之间的相互关系和合作状态。比如，人机协同状态可以描述在特定的作业任务中，操作对象与操作设备之间的互动方式、操作设备的状态数据等。目标协同状态数据可以是用于描述参与协同的实体(可能是操作对象、机器人或其他智能设备)之间的合作状态和行为。比如，目标协同状态数据可以包括工具、动作以及交互信息中的至少一个。

具体地，对作业画面图像进行特征提取，得到能够表征协同状态的图像特征，从而可以对提取到的图像特征进行预测，得到目标协同状态数据，实现对人机协同状态的识别。

示例性地，利用目标检测算法对作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据。例如，可以利用姿态估计算法对作业画面图像中的动作进行分类和识别。可以利用工具识别算法分析作业画面图像中执行当前作业任务所涉及的动作时所使用的工具。

S130、基于人因数据进行人员状态识别，得到操作对象的人员状态数据。

其中，人员状态数据可以是通过对人的生理数据和行为数据进行观察和分析，从而获取有关人员当前状态的信息。

具体地，对人因数据进行特征提取，得到能够表征人员状态的特征，从而可以对提取到的特征进行预测，得到人员状态数据，实现对人员状态的识别。示例性地，针对不同的人因数据，采用相应的检测方法对人因数据进行人员状态识别，得到操作对象的人员状态数据。例如，基于操作对象的眼动数据进行识别，得到能够表征操作对象视觉注意力分布和认知状态的人员状态数据。

S140、根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈。

其中，状态反馈可以是将对目标协同状态数据和人员状态数据的综合分析结果进行反馈，以及时提供相应信息并做出相应的调整和决策。

具体地，根据不同任务的特点和人机交互的需求，设计相应的状态反馈手段，如界面显示、语音提示、震动提示等方式。对目标协同状态数据和人员状态数据进行数据分析，得到数据分析结果。基于数据分析结果中的关键指标和约束条件，确定人机协同过程的状态，比如当前任务执行的实际情况。根据人机协同过程的状态，匹配与之对应的反馈手段。通过反馈手段实现在人机协同系统中将反馈信息能够及时准确地传递给操作对象和操作设备。

在一些实施方式中，可以通过使用AR技术，将目标协同状态数据和人员状态数据的分析结果叠加在操作对象的实际视野中，可以提供更直观、实时的信息展示和辅助决策。操作对象可以通过头戴式显示设备(比如AR眼镜)，实时观察到叠加在现实场景中的相关信息，从而更好地理解人机协同状态，并采取相应的行动。

在另一些实施方式中，操作对象通过VR设备(比如VR头盔)进入虚拟环境，可以观察和与虚拟环境中的对象进行交互。将目标协同状态数据和人员状态数据的分析结果以图形、动画或其他形式呈现在虚拟环境中。操作对象可以通过观察虚拟界面或对象状态等信息来了解当前的状态，并采取相应的行动。

上述实施方式中，首先，获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的至少包括操作设备及操作环境的设定参数的作业画面图像。然后，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，基于人因数据进行人员状态识别，得到操作对象的人员状态数据，为人机协同过程提供重要的信息。最后，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，以提高人机协同过程中的效率和安全性。人机协同系统根据不同的反馈状态做出相应的调整，实现更灵活和适应性的协同过程。此外，基于对人机协同过程进行状态反馈，还可以为后续任务执行做出决策。通过优化人机协同过程中的流程，改善操作对象的工作条件与状态，实现可持续的人机协同。

在一些实施方式中，请参阅图2，人因数据包括眼动信号数据，人员状态数据包括任务预判状态数据；基于人因数据进行人员状态识别，得到操作对象的人员状态数据，可以包括以下步骤：

S210、基于眼动信号数据进行注视位置的识别，得到操作对象的注视位置变化情况。

S220、基于注视位置变化情况判断操作对象是否对当前作业任务的下一作业任务进行预判，得到任务预判状态数据。

其中，眼动信号数据可以是通过眼动追踪技术获取到的反映人眼运动和注视位置的数据。注视位置可以是操作对象眼睛所指向的特定区域或目标位置。注视位置变化情况用于描述操作对象的注视位置随着当前作业任务的执行时间变化的情况。下一作业任务可以是当前任务中，需要操作对象按照某种顺序完成的、紧接着当前任务执行的下一个任务。任务预判状态数据可以是基于注视位置变化情况得出的一种表示，用于描述操作对象在执行当前作业任务时是否对下一作业任务进行了预判。

具体地，使用眼动追踪设备，例如眼动仪，记录操作对象的眼动信号数据。眼动信号数据以时间序列的形式记录了操作对象的注视点坐标和注视持续时间等信息。然后，利用神经网络或机器学习等分析算法对眼动信号数据进行处理和分析，实现对注视点坐标的检测，从而得到操作对象的注视位置。根据记录的注视位置结合当前作业任务和下一作业任务的协同状态信息，分析注视位置在时间上的变化情况，从而了解操作对象的关注点和注意力的分布情况，并判断操作对象是否对下一作业任务进行了预判。根据判断结果，生成任务预判状态数据。示例性地，任务预判状态数据可以表示为二元指示变量，例如“预判”和“未预判”。当操作对象已经对当前作业任务的下一作业任务进行了预判时，任务预判状态为“预判”，否则为“未预判”。

在一些实施方式中，确定任务预判状态数据的系统可以包括输入层、识别层以及判断层。在输入层，系统预先输入有每个作业任务的顺序、完成持续时间、作业任务区域坐标范围，以及实时输入的注视位置。识别层负责判断注视位置随着时间的变化是否落在当前作业任务或下一作业任务的区域范围内。而判断层则结合作业任务的完成时间以及识别层的信息，来判断操作对象在完成当前作业任务和下一作业任务之间是否有进行任务预判的行为，从而得到任务预判状态数据。

在另一些实施方式中，根据眼动的注视情况与扫视路径，可以对作业任务的预判性进行评估。在此过程中，考虑人机交互任务的需求，可以确定是否已经注意到下一作业任务的信息，并确定在当前作业任务过程中何时开始关注下一作业任务，以确定作业任务之间的衔接情况。然后可以根据当前作业任务的持续时间和作业任务之间的衔接情况来判断是否对当前任务的下一作业任务进行了预判，从而得到任务预判状态数据。

上述实施方式中，基于眼动信号数据进行注视位置的识别，得到操作对象的注视位置变化情况，基于注视位置变化情况判断操作对象是否对当前作业任务的下一作业任务进行预判，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而更好地协助操作对象完成任务。

在一些实施方式中，请参阅图3a，基于眼动信号数据进行注视位置的识别，得到操作对象的注视位置变化情况，可以包括以下步骤：

S310、基于眼动信号数据确定操作对象的注视点扫描路径。

S320、基于注视点扫描路径确定操作对象的注视位置变化情况。

其中，注视点扫描路径可以是在一段时间内，眼睛在观察特定任务或场景时所经过的一系列注视点的轨迹。注视点扫描路径记录了眼睛从一个注视点转移到另一个注视点的顺序和路径。

具体地，利用神经网络或机器学习等分析算法对眼动信号数据进行处理和分析，实现对注视点坐标的检测，从而得到操作对象的注视位置。分析注视位置之间的转移关系和持续时间，构建注视点扫描路径，以揭示操作对象的注意力分布和变化情况。在注视点扫描路径的基础上，分析注视位置的变化情况，比如统计不同区域的注视位置和其发生的时间，以量化操作对象的注意力分布情况，推断操作对象对不同目标的注意力分布。

示例性地，请参阅图3b，图3b为注视点扫描路径的示意图。图3b中包括12个注视位置且该12个注视位置根据时间顺序进行序号的确定。每两个注视位置之间的连线为注视点扫描路径。根据注视点扫描路径，可以确定1至5注视位置位于任务n的区域内，5至10注视位置在任务n与任务n+1之间进行来回的切换，10至12注视位置位于任务n+1的区域内。基于以上分析，可以确定注视位置变化情况。

上述实施方式中，基于眼动信号数据确定操作对象的注视点扫描路径，基于注视点扫描路径确定操作对象的注视位置变化情况，可以推测操作对象的意图和预期行为。

在一些实施方式中，当前作业任务对应当前任务区域范围，下一作业任务对应下一任务区域范围。基于注视位置变化情况判断操作对象是否对当前作业任务的下一作业任务进行预判，得到任务预判状态数据，包括：基于注视位置变化情况判断操作对象的至少部分注视资源是否从当前任务区域范围转移至下一任务区域范围，得到任务预判状态数据。

其中，注视资源可以是操作对象将其注意力在特定区域或目标上的分布情况。任务区域范围可以是操作对象正在进行的特定任务的空间范围或目标区域，该区域可以是物理环境中的某个位置或对象。当前任务区域范围可以是执行当前任务时当前任务对应的空间范围或者区域。下一任务区域范围可以是执行当前任务的下一任务时该下一任务对应的空间范围或者区域。

具体地，确定正在执行的当前作业任务对应的当前任务区域范围以及下一作业任务对应的下一任务区域范围。将注视位置与任务区域进行比较，判断注视位置是否位于当前任务区域范围内或者是否位于下一任务区域范围。然后通过观察注视位置的变化情况，判断是否有注视资源从当前任务区域范围转移到下一任务区域范围，得到注视位置变化的判断结果。基于注视位置变化的判断结果，得到任务预判状态数据。示例性地，任务预判状态数据可以表示为二元指示变量，例如“预判”和“未预判”。当注视位置变化的判断结果为操作对象的至少部分注视资源从当前任务区域范围转移至下一任务区域范围，任务预判状态为“预判”，否则为“未预判”。

在一些实施方式中，请参阅图3b，图3b中的区域302为正在执行的当前作业任务n对应的当前任务区域范围。图3b中的区域304为下一作业任务n+1对应的下一任务区域范围。第5至10注视位置在任务n与任务n+1之间进行来回的切换，可以判断操作对象的至少部分注视资源从当前任务区域范围转移至下一任务区域范围。

在另一些实施方式中，当前任务记为任务n，当前任务的下一任务记为任务n+1。请参阅图4，图4中的曲线402为任务n的眼动注视资源随时间的变化情况。图4中的曲线404为任务n+1的眼动注视资源随时间的变化情况。预设任务n需要7s的时间完成，任务n+1紧接任务n。若当前正在执行任务n，在前5s内，眼动注视资源集中在任务n上。然后从第5s开始，将一部分注意资源转移到紧接着的任务n+1上。随着时间的推移，注意资源逐渐倾向于分配到任务n+1上。当任务n结束时，由于任务的连贯性，仍会有少部分的注意资源分配到任务n上。

上述实施方式中，基于注视位置变化情况判断操作对象的至少部分注视资源是否从当前任务区域范围转移至下一任务区域范围，得到任务预判状态数据，帮助系统理解操作对象的任务意图，从而确定操作对象的状态，以更好地引导操作对象完成任务。

在一些实施方式中，请参阅图5，人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个。该方法还可以包括：

S510、基于脑电信号数据进行负荷状态识别，得到操作对象的负荷状态数据。

其中，脑电信号数据可以是通过电极放置在头皮表面来检测和记录操作对象大脑活动的电信号。负荷状态可以是操作对象在进行某项任务时所承受的心理和生理压力的程度。负荷状态数据可以是通过基于脑电信号数据的负荷状态识别方法得到的对操作对象的负荷状态的记录或表示。

具体地，根据预先设置的判断标准，将负荷状态分为不同的类别。这表明有一个明确定义的标准来评估和区分不同的负荷状态。基于判断标准和不同类别的负荷状态，建立相应的负荷状态模型。使用脑电信号采集设备(比如脑电图(EEG)设备)采集操作对象的脑电信号数据。然后，通过负荷状态模型对脑电信号数据进行负荷状态识别，可以得到操作人员在进行任务时的负荷状态。其中，采用支持向量机、机器学习算法来实现负荷状态的识别，可有效地区分不同类别的负荷状态。根据负荷模型进行实时评估，可以对操作人员的工作状态进行准确的监测和调整，以提高生产效率和工作质量。

示例性地，根据脑电的α/β值作为判断标准，将负荷状态分为高、中、低三种情况，并建立相应的负荷状态模型。通过对操作人员前额脑电信号进行监测，得到前额脑电信号数据。通过负荷状态模型，对前额脑电信号数据进行识别，可以得到操作人员在进行任务时的负荷状态。

S520、基于皮电信号数据和心率信号数据进行情绪状态识别，得到操作对象的情绪状态数据。

其中，皮电信号数据可以是皮肤表面的电生理反应。皮电信号数据通常与情绪状态有关，例如焦虑、兴奋和压力等。心率信号数据可以是测量操作对象心脏搏动的变化情况。心率信号数据可以反映心脏的节律性活动。情绪状态可以是操作对象在特定时刻所体验到的主观情感。情绪状态数据可以是通过分析皮电信号数据和心率信号数据，得到的用于描述操作对象当前情绪状态的信息。

在一些情况下，皮电信号数据和心率信号数据可以反映交感神经的活性，而交感神经的活性与情绪状态存在一定的关联。因此，通过对操作对象的皮电信号数据和心率信号数据进行监测，可以获取到反映操作对象情绪状态的信息。

具体地，使用皮电传感器采集操作对象的皮电信号数据，使用心率监测设备采集操作对象的心率信号数据。可以采用机器学习算法，如支持向量机(SVM)、决策树、神经网络等，也可以采用深度学习方法，建立情绪状态模型。在情绪状态识别的过程中，将皮电信号数据和心率信号数据输入至情绪状态模型。根据情绪状态模型的状态分类，对皮电信号数据和心率信号数据进行识别，得到操作对象的情绪状态数据。基于操作对象的情绪状态数据可以识别出操作对象的异常情绪状态。也可以基于皮电信号数据和心率信号数据进行异常情绪状态的识别，得到操作对象的情绪状态数据。需要说明的是，心率信号数据也可以是心率变异性的LF指标(低频成分)。

在一些实施方式中，对每个操作对象进行情绪基准状态的测量和记录，建立操作对象对应的基准状态数据库。这个过程中，可以使用皮电信号数据、心率信号数据等生理信号来测量每个操作对象的情绪基准状态。从基准状态数据库中获取每个操作人员的基准状态X值，作为判断情绪异常的参考值。将操作对象的实际状态Y值与基准状态X值进行比较，如果Y>aX，则判定为情绪异常。其中，阈值a可以根据实际需要自定义，阈值a可以通过实验或经验来确定。

S530、根据负荷状态数据和/或情绪状态数据对操作对象的工作状态进行预警。

具体地，根据实际需要设定负荷状态数据和情绪状态数据对应的预警指标和阈值，用于判断操作对象的工作状态是否存在异常。实时监测操作对象的负荷状态数据和/或情绪状态数据，并根据设定的预警指标或阈值进行判断。当操作对象的负荷状态数据和/或情绪状态数据符合预警指标或者超过阈值时，则触发预警机制，对操作对象的工作状态进行预警。进一步地，可以将预警信息发送至相关人员，比如操作对象、监管人员等。同时，可以采取不同的预警方式，比如声音、震动、闪光等方式，以便及时引起注意。

上述实施方式中，基于脑电信号数据进行负荷状态识别，得到操作对象的负荷状态数据，基于皮电信号数据和心率信号数据进行情绪状态识别，得到操作对象的情绪状态数据，根据负荷状态数据和/或情绪状态数据对操作对象的工作状态进行预警，可以及时发现并应对操作对象的疲劳、压力和负面情绪，提高工作效率、安全性和满意度，减少工作事故和错误的发生几率。

需要说明的是，根据任务预判状态数据可以对操作对象的注意力情况以及操作对象的表现进行评价。例如，在操作对象处于高负荷、精神疲劳或者情绪异常的情况下，基于预备状态数据可以确定操作对象的任务预判状态数据。通过分析任务预判状态数据，可以判断操作对象是否将注意力资源分配至下一作业任务上。如果操作对象能够有效地将注意力资源分配至下一作业任务上，那么可以认为该操作对象适合在高强度的作业环境中工作。如果操作对象未将注意力资源分配至下一作业任务上，可以认为操作对象不适合高强度。

另外，在操作对象长时间等待的情况下，可能会出现分心的状态。根据任务预判状态数据，可以判断操作对象是否将注意力资源分配到下一个作业任务上。如果操作对象能够将注意力资源分配到下一个作业任务上，可以认为该操作对象适合在需要高度集中注意力的作业环境中工作。

在发生突发情况时，可以获取所需的预判状态数据。利用突发情况下所需要的预判状态数据，可以确定操作对象的预备状态数据。基于预备状态数据判断操作对象是否将注意力资源分配至突发情况上。如果操作对象能够将注意力资源有效地分配到处理突发情况上，可以认为该操作对象具备应对突发情况的能力。如果操作对象未能将注意力资源分配到处理突发情况上，并且操作对象不处于高负荷或疲劳状态，可以认为该操作对象缺乏处理复杂任务的能力。

在一些实施方式中，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，可以包括：根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，作为目标协同状态数据。

具体地，对作业画面图像进行特征提取，得到能够表征协同状态的图像特征，从而可以对提取到的图像特征进行预测，得到当前作业任务的当前协同状态数据，如工具的状态、工具之间的相对位置、操作对象与操作设备之间的交互动作等信息。为了实时监测当前协同状态数据并进行相应的反馈，以减少错误和延误的发生，可以将当前协同状态数据作为目标协同状态数据。

上述实施方式中，根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，作为目标协同状态数据，为人机协同过程提供重要的信息。

在一些实施方式中，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，可以包括：根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，根据当前协同状态数据确定当前作业任务的相邻作业任务的目标协同状态数据。

其中，将作业过程进行任务分解，得到任务需求数据，任务需求数据中包括多个按照时间排序的作业任务。任务需求数据中包括当前作业任务，其对应有相邻作业任务，比如相邻作业任务可以是在任务需求数据中排列在当前作业任务之前且相邻的作业任务。相邻作业任务可以是在任务需求数据中排列在当前作业任务之后且相邻的作业任务。需要说明的是，预先已经确定的任务需求数据中的任务执行顺序与实际作业过程中任务执行顺序可能存在不同。

具体地，对作业画面图像进行特征提取，得到能够表征协同状态的图像特征，从而可以对提取到的图像特征进行预测，得到当前作业任务的当前协同状态数据。然后，根据任务需求数据中的任务排序，利用当前协同状态数据找到当前作业任务的相邻作业任务。在确定相邻作业任务后，可以从存储单元中查找相邻作业任务对应的协同状态数据，并将其作为目标协同状态数据。也可以利用目标检测算法对实时的作业画面图像进行协同状态识别，得到当前作业任务的相邻作业任务的协同状态数据，并将其作为目标协同状态数据。

示例性地，任务需求数据可以包括按照执行顺序排列的作业任务1、作业任务2和作业任务3。但实际执行过程中，若当前执行的作业任务为作业任务2，由于作业任务1没有执行，则相邻作业任务1可以作为下一作业任务。作业任务1的协同状态数据可以作为目标协同状态数据。若当前执行的作业任务为作业任务为2，由于作业任务1已经执行，相邻作业任务3可以作为下一作业任务。作业任务3的协同状态数据可以作为目标协同状态数据。

上述实施方式中，根据作业画面图像进行人机协同状态识别，得到当前作业任务的当前协同状态数据，根据当前协同状态数据确定当前作业任务的相邻作业任务的目标协同状态数据，为人机协同过程提供重要的信息。

在一些实施方式中，基于作业画面图像进行人机协同状态识别，得到当前作业任务对应的目标协同状态数据，可以包括：将作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到目标协同状态数据。

具体地，可以预先搭建初始状态识别模型，对初始状态识别模型进行训练，得到目标状态识别模型。将目标状态识别模型部署在处理设备。处理设备通常连接有图像采集设备。通过图像采集设备对作业画面进行拍摄得到作业画面图像。图像采集设备发送作业画面图像至处理设备，处理设备将作业画面图像作为目标状态识别模型的输入，目标状态识别模型对作业画面图像进行特征提取，得到能够表征协同状态的图像特征，从而可以基于提取到的图像特征进行预测，目标状态识别模型输出目标协同状态数据，实现对人机协同状态的识别。可以理解的是，在一些情况下，目标状态识别模型也可以部署在图像采集设备中，通过图像采集设备对作业画面进行拍摄得到作业画面图像，并将作业画面图像输入至目标状态识别模型进行人机协同状态的识别，得到目标协同状态数据。

上述实施方式中，将作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到目标协同状态数据，为人机协同过程提供重要的信息。

在一些实施方式中，请参阅图6，通过以下方式训练得到目标状态识别模型：

S610、获取对历史作业过程进行拍摄得到的样本画面图像。

S620、将样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、预测动作数据对应的预测工具类别。

S630、基于标注任务标识、标注动作数据、标注工具类别、预测任务标识、预测动作数据以及预测工具类别对初始状态识别模型进行更新，得到目标状态识别模型。

其中，样本画面图像的标签包括标注任务标识、标注动作数据、标注动作数据对应的标注工具类别。任务标识可以用于标识具体任务或操作类型。动作数据可以用于表征执行作业任务时所需的动作。工具类别可以用于表征执行作业任务时所使用的工具。

具体地，使用图像采集设备对历史作业过程进行拍摄得到的样本画面图像。通过使用专业的标注工具，对样本画面图像进行标注，为每帧样本画面图像分配相应的标注任务标识、标注动作数据、标注工具类别，从而得到样本画面图像的标签。将样本画面图像输入至初始状态识别模型进行预测，得到预测任务标识、预测动作数据、预测动作数据对应的预测工具类别。然后基于标注任务标识、预测任务标识确定第一损失值。基于标注动作数据、预测动作数据确定第二损失值。基于标注工具类别、预测工具类别确定第三损失值。基于第一损失值、第二损失值以及第三损失值对初始状态识别模型进行更新。以此类推，继续对更新后的初始状态识别模型进行训练，当达到模型训练停止条件时，可以得到目标状态识别模型。其中，模型训练停止条件可以是模型损失值趋于收敛，也可以是训练轮次达到预设的轮次数量。

在一些实施方式中，初始状态识别模型可以采用YOLO V5模型。YOLO V5模型是一种神经网络模型算法，用于对象检测任务，其主要目标是识别图像上存在的对象，并确定所识别的对象在图像上的位置。该模型将图像划分成一个S×S的网格，每个网格单元负责检测对象。通过对每个网格单元进行预测，可以得到边界框的位置、框的置信度得分以及包含对象的网格单元的类别概率。然后基于边界框的位置、框的置信度得分以及包含对象的网格单元的类别概率进行数据分析，可以确定模型的输出结果，进而实现对象检测任务。

上述实施方式中，获取对历史作业过程进行拍摄得到的样本画面图像，将样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、预测动作数据对应的预测工具类别，基于标注任务标识、标注动作数据、标注工具类别、预测任务标识、预测动作数据以及预测工具类别对初始状态识别模型进行更新，得到目标状态识别模型，以便于基于作业画面图像进行人机协同状态识别，从而能够及时知悉当前作业任务对应的目标协同状态数据。

在一些实施方式中，请参阅图7a，通过以下方式确定样本画面图像的标签：

S710、对历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务。

S720、基于作业任务的任务标识确定标注任务标识。

S730、基于样本作业任务所涉及的动作进行编码，得到标注动作数据。

S740、基于执行样本作业任务所涉及的动作时所使用的工具进行编码，得到标注工具类别。

具体地，根据作业任务的性质、复杂程度和执行过程中的关键节点等因素，选择适合的任务分解方式。根据确定的任务分解方式，对历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务。每个样本作业任务对应有各自的动作、执行样本作业任务所涉及的动作时所使用的工具等信息。各样本作业任务之间相互独立，即各个样本作业任务之间存在执行的先后顺序，但彼此在空间上不存在交错部分，也可以理解为完成各个样本作业任务的动作、工具等都是相互独立的。为每个样本作业任务分配一个唯一的任务标识，例如使用编号或者名称。根据样本作业任务的任务标识，为每个样本作业任务分配一个唯一的标注任务标识。可以直接使用样本作业任务的任务标识作为标注任务标识，也可以对样本作业任务的任务标识进行编码得到标注任务标识。对样本作业任务所涉及的动作进行编码，将每个样本作业任务所涉及的动作表示为一个唯一的标注动作数据，以便在后续的处理和分析中能够准确地识别和记录每个动作。对执行样本作业任务所涉及的动作时所使用的工具进行编码，将每个执行样本作业任务所涉及的动作时所使用的工具表示为一个唯一的标注工具类别，以便在后续的处理和分析中能够准确地识别和记录每个工具。

示例性地，根据操作设备的任务和操作对象需要操作的任务类型，可以按照时间序列的要求进行任务区分，将需要完成的作业过程分解为一系列任务。首先，对于需要完成的作业过程，可以根据人机协同的过程来分析任务的组成部分，包括所涉及的动作以及完成这些动作所需的工具。进而，可以将作业过程分解为一系列任务，并确定执行每个任务所需的动作、执行每个任务所涉及的动作时所使用的工具。在任务执行过程中，使用执行每个任务所涉及的动作时所使用的工具在定义的位置完成所需的动作，以实现对该任务的执行。请参阅图7b，作业过程可以分解为任务1、任务2……任务n，每个任务的组成部分包括对应的动作、工具。比如，任务1的组成部分包括执行任务1所需的动作1、执行任务1所涉及的动作1时所使用的工具1；任务2的组成部分包括执行任务2所需的动作2、执行任务2所涉及的动作2时所使用的工具2；任务n的组成部分包括执行任务n所需的动作n、执行任务n所涉及的动作n时所使用的工具n。

上述实施方式中，对历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务，基于作业任务的任务标识确定标注任务标识，基于样本作业任务所涉及的动作进行编码，得到标注动作数据，基于执行样本作业任务所涉及的动作时所使用的工具进行编码，得到标注工具类别，从而能够在计算机设备中有效地表示动作、工具等任务信息，为后续目标状态识别模型的训练过程提供数据支持。

在一些实施方式中，请参阅图8，根据目标协同状态数据和人员状态数据，对人机协同过程进行状态反馈，可以包括以下步骤：

S810、根据目标协同状态数据确定当前作业任务的下一作业任务的预备状态数据。

S820、基于预备状态数据和人员状态数据对人机协同过程进行状态反馈。

其中，预备状态数据用于表征操作对象需要为下一作业任务进行预先准备的情况。预备状态数据可以是与下一作业任务相关的信息和要求，这些信息和要求需要在当前作业任务完成之前就进行预先准备。比如，预备状态数据可以包括下一作业任务需要的材料、设备、工具，下一作业任务需要的操作步骤、顺序、注意事项等中的至少一个。

具体地，在确定当前作业任务的目标协同状态数据后，通过目标状态识别模型可以识别出当前作业任务的下一作业任务以及下一作业任务的协同状态数据。对下一作业任务的协同状态数据进行分析，获得下一作业任务需要的预备状态数据。预备状态数据可以包括执行下一作业任务所需的材料、步骤说明、相关信息中的至少一个。人员状态数据可以包括操作对象的生理状态、注意力水平等方面的信息。通过对预备状态数据和人员状态数据进行分析，可以及时了解人机协同过程中的多种状态信息，并将其以适当的方式反馈给操作对象和/或操作设备，有助于操作对象及时调整策略或决策，也有助于操作设备根据反馈信息调整自身的运行状态，以更好地适应当前的协同需求和环境。

示例性地，如果人员状态数据表明操作对象处于异常状态(比如疲劳)，并且下一作业任务的执行方式可以是人主导方式，也可以是机器主导方式。那么在人员状态数据表明操作对象处于异常状态时，将预备状态数据发送至操作设备，以机器主导方式执行下一作业任务，可以降低操作对象在疲劳状态下的操作风险，提高任务执行的安全性和可靠性。

上述实施方式中，根据目标协同状态数据确定当前作业任务的下一作业任务的预备状态数据，基于预备状态数据和人员状态数据对人机协同过程进行状态反馈，可以使人机协同更加高效和可靠。

在一些实施方式中，请参阅图9，基于预备状态数据和人员状态数据对人机协同过程进行状态反馈，可以包括以下步骤：

S910、确定与人员状态数据对应的目标提醒方式。

S920、以目标提醒方式展示预备状态数据，以提醒操作对象为下一作业任务进行预先准备。

其中，目标提醒方式可以是通过特定的方式和途径向操作对象传达下一作业任务的目标和准备状态数据，以做好预先准备。比如目标提醒方式可以是视觉展示、可以是语音提示。

具体地，对人员状态数据进行分析和整理，包括操作对象的注意力集中程度、疲劳程度、情绪状态等，得到人员状态数据的分析结果。根据人员状态数据的分析结果，确定适合的目标提醒方式(比如视觉展示、语音提示、振动等方式)，以便向操作对象传达下一作业任务的预备状态数据，从而提醒操作对象为下一作业任务进行预先准备。基于选择的目标提醒方式，将预备状态数据以适当的形式展示给操作对象，使操作对象可以及时接收和理解预备状态数据。

示例性地，如果人员状态数据表明操作对象未处于异常状态，并且下一作业任务的执行方式为人主导方式。那么可以选择视觉展示的方式，在操作界面上显示相关的预备状态数据，以吸引操作对象的注意，使操作对象及时获得必要的信，并主导下一作业任务的执行。

如果人员状态数据表明操作对象处于异常状态(比如操作对象的任务预判状态数据为未预判或者疲劳状态)，并且下一作业任务的执行方式为人主导方式。那么可以通过强提醒的方式(比如语音提示)来刺激操作对象，以引起其对预备状态数据的注意。操作对象可以重新调整注意力和专注度，以主导下一作业任务的执行。

在一些实施方式中，利用增强现实技术，可以通过在现实场景中叠加文字、图像、视频等形式，向操作对象展示任务目标、准备要求等预备状态数据。操作对象通过增强现实设备(比如AR眼镜)在AR界面中获取预备状态数据，有助于其进行必要的准备和调整，以确保任务的顺利执行。

在另一些实施方式中，利用虚拟现实技术，在虚拟环境中创建虚拟的对象、文字、音频等等元素，以呈现预备状态数据。操作对象可以通过虚拟现实设备(比如VR头盔)在VR界面中获取预备状态数据。

上述实施方式中，确定与人员状态数据对应的目标提醒方式，以目标提醒方式展示预备状态数据，以提醒操作对象为下一作业任务进行预先准备，帮助操作对象避免遗漏关键步骤或所需资源，减少因为缺乏准备而导致的错误和失误。

在一些实施方式中，该方法还可以包括：基于针对人机协同过程反馈的状态数据进行决策控制，以按照与当前作业任务的下一作业任务的匹配的执行方式执行下一作业任务。

其中，执行方式为人机协同方式、人主导方式、机器主导方式中任一个。人机协同方式可以是在人机协同过程中，人与机器相互配合、协同工作的方式。人主导方式可以是在人主导方式中，人类在决策和控制过程中起主导作用，机器执行任务的方式取决于人的指示。机器主导方式可以是在整个人机协同过程中，机器在决策和控制方面发挥主导作用，而人类则主要扮演辅助的角色。

具体地，在人机协同过程中，通过人机协同过程反馈的状态数据，评估下一作业任务的情况，以便确定与下一作业任务匹配的执行方式。如果下一作业任务需要高度的人机协同，那么选择人机协同方式。如果下一作业任务需要操作对象指导和决策，那么选择人主导方式。如果下一作业任务可以由操作设备自主执行，那么选择机器主导方式。根据选择的执行方式，制定相应的执行方案。在人机协同方式下，操作对象和操作设备需要共同协同，制定合适的执行策略，同时需要考虑到双方的优势和限制。在人主导方式下，操作对象需要基于状态数据和专业知识，制定执行方案，并将执行方案的任务指令传达给操作设备。在机器主导方式下，操作设备需要根据内置的算法和规则系统，自主制定执行方案，无需操作对象干预。在确定执行方案后，根据制定的执行方案，执行下一作业任务。

在一些实施方式中，根据选择的执行方式，利用增强现实设备在操作对象所处的现实场景中叠加适当的虚拟信息，以帮助操作对象更好地执行作业任务。例如，在人机协同方式下，可以在现实场景中叠加显示操作设备的运行状态和任务进度，以便操作对象及时调整策略。在人主导方式下，可以在现实场景中叠加显示任务执行指令和操作流程，以帮助操作对象更好地完成作业任务。在机器主导方式下，可以在现实场景中叠加显示操作设备的执行情况和结果，以便操作对象及时了解操作设备的运行状态和数据。

在另一些实施方式中，根据选择的执行方式，利用虚拟现实设备创建相应的虚拟环境。在虚拟环境中，可以模拟操作对象与操作设备的交互过程，显示任务执行指令、操作流程、机器状态等信息。例如，在人主导方式下，操作对象可以根据在虚拟环境中显示的信息和指导来执行下一作业任务。

上述实施方式中，基于针对人机协同过程反馈的状态数据进行决策控制，以按照与当前作业任务的下一作业任务的匹配的执行方式执行下一作业任务可以有效平衡人的决策和机的决策问题，以提高协同过程的效率和安全性。

本说明书实施方式还提供一种基于虚实融合的人机协同状态反馈方法。请参阅图10a，人因数据包括生理信号数据(比如皮电信号数据、心率信号数据)、眼动信号数据、脑电信号数据。可以基于生理信号数据、眼动信号数据、脑电信号数据进行人员状态识别，得到人员状态数据。比如人员状态数据可以包括任务预判状态数据。可以理解的是，可以根据人员状态数据对当前作业任务进行预警反馈。当前作业任务对应当前任务区域范围，下一作业任务对应下一任务区域范围。示例性地，请参阅图10b，该基于虚实融合的人机协同状态反馈方法可以包括以下步骤：

S1002、获取当前作业任务的人机协同过程中操作对象的人因数据，以及对人机协同过程进行拍摄得到的作业画面图像。

其中，作业画面图像至少包括操作设备及操作环境的设定参数。

S1004、基于脑电信号数据进行负荷状态识别，得到操作对象的负荷状态数据。

S1006、基于皮电信号数据和心率信号数据进行情绪状态识别，得到操作对象的情绪状态数据。

S1008、根据负荷状态数据和/或情绪状态数据对操作对象的工作状态进行预警。

S1010、基于眼动信号数据确定操作对象的注视点扫描路径。

S1012、基于注视点扫描路径确定操作对象的注视位置变化情况。

其中，注视位置变化情况用于描述操作对象的注视位置随着当前作业任务的执行时间变化的情况。

S1014、基于注视位置变化情况判断操作对象的至少部分注视资源是否从当前任务区域范围转移至下一任务区域范围，得到任务预判状态数据。

S1016、将作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到目标协同状态数据。

S1018、根据目标协同状态数据确定当前作业任务的下一作业任务的预备状态数据。

其中，预备状态数据用于表征操作对象需要为下一作业任务进行预先准备的情况。

S1020、基于预备状态数据和任务预判状态数据确定与任务预判状态数据对应的目标提醒方式。

S1022、以目标提醒方式展示预备状态数据，以提醒操作对象为下一作业任务进行预先准备。

本说明书实施方式提供一种基于虚实融合的人机协同状态反馈装置1100，请参阅图11，基于虚实融合的人机协同状态反馈装置1100包括：任务数据获取模块1110、人机协同状态识别模块1120、人员状态识别模块1130、状态反馈模块1140。

任务数据获取模块1110，用于获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；

人机协同状态识别模块1120，用于基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；

人员状态识别模块1130，用于基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；

状态反馈模块1140，用于根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈。

在一些实施方式中，所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；人员状态识别模块，还用于基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况；其中，所述注视位置变化情况用于描述所述操作对象的注视位置随着所述当前作业任务的执行时间变化的情况；基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据。

在一些实施方式中，基于虚实融合的人机协同状态反馈装置还包括：注视位置变化模块，用于基于所述眼动信号数据确定所述操作对象的注视点扫描路径；基于所述注视点扫描路径确定所述操作对象的注视位置变化情况。

在一些实施方式中，所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；人员状态识别模块，还用于基于所述注视位置变化情况判断所述操作对象的至少部分注视资源是否从所述当前任务区域范围转移至所述下一任务区域范围，得到所述任务预判状态数据。

在一些实施方式中，所述人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个；基于虚实融合的人机协同状态反馈装置还包括：工作状态预警模块，用于基于所述脑电信号数据进行负荷状态识别，得到所述操作对象的负荷状态数据；基于所述皮电信号数据和所述心率信号数据进行情绪状态识别，得到所述操作对象的情绪状态数据；根据所述负荷状态数据和/或所述情绪状态数据对所述操作对象的工作状态进行预警。

在一些实施方式中，人机协同状态识别模块，还用于根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，作为所述目标协同状态数据；或者根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，根据所述当前协同状态数据确定所述当前作业任务的相邻作业任务的所述目标协同状态数据。

在一些实施方式中，人机协同状态识别模块，还用于将所述作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到所述目标协同状态数据。

在一些实施方式中，通过以下方式训练得到所述目标状态识别模型：获取对历史作业过程进行拍摄得到的样本画面图像；其中，所述样本画面图像的标签包括标注任务标识、标注动作数据、所述标注动作数据对应的标注工具类别；将所述样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、所述预测动作数据对应的预测工具类别；基于所述标注任务标识、所述标注动作数据、所述标注工具类别、所述预测任务标识、所述预测动作数据以及所述预测工具类别对所述初始状态识别模型进行更新，得到所述目标状态识别模型。

在一些实施方式中，通过以下方式确定所述样本画面图像的标签：对所述历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务；基于所述作业任务的任务标识确定所述标注任务标识；基于所述样本作业任务所涉及的动作进行编码，得到所述标注动作数据；基于执行所述样本作业任务所涉及的动作时所使用的工具进行编码，得到所述标注工具类别。

在一些实施方式中，状态反馈模块，还用于根据所述目标协同状态数据确定所述当前作业任务的下一作业任务的预备状态数据；其中，所述预备状态数据用于表征所述操作对象需要为所述下一作业任务进行预先准备的情况；基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈。

在一些实施方式中，状态反馈模块，还用于确定与所述人员状态数据对应的目标提醒方式；以所述目标提醒方式展示所述预备状态数据，以提醒所述操作对象为所述下一作业任务进行预先准备。

在一些实施方式中，基于虚实融合的人机协同状态反馈装置还包括：决策控制模块，用于基于针对所述人机协同过程反馈的状态数据进行决策控制，以按照与所述当前作业任务的下一作业任务的匹配的执行方式执行所述下一作业任务，其中，所述执行方式为人机协同方式、人主导方式、机器主导方式中任一个。

关于基于虚实融合的人机协同状态反馈装置的具体描述，可以参见上文中对基于虚实融合的人机协同状态反馈方法的描述，在此不再赘述。

在一些实施方式中，提供了一种电子设备，其内部结构图可以如图12所示。该电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种基于虚实融合的人机协同状态反馈方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图12中示出的结构，仅仅是与本说明书所公开方案相关的部分结构的框图，并不构成对本说明书所公开方案所应用于其上的电子设备的限定，具体地，电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一些实施方式中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述实施方式中的方法步骤。

本说明书实施方式提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述任一项实施方式中的方法的步骤。

本说明书的一个实施方式提供一种计算机程序产品，计算机程序产品中包括指令，指令被计算机设备的处理器执行时，使得计算机设备能够执行上述任一项实施方式的方法的步骤。

需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

Claims (13)

1.一种基于虚实融合的人机协同状态反馈方法，其特征在于，所述方法包括：

获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；

基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；

基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；

根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈；

所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；所述基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据，包括：

基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况；其中，所述注视位置变化情况用于描述所述操作对象的注视位置随着所述当前作业任务的执行时间变化的情况；

基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据；

所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；所述基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据，包括：

基于所述注视位置变化情况判断所述操作对象的至少部分注视资源是否从所述当前任务区域范围转移至所述下一任务区域范围，得到所述任务预判状态数据。

2.根据权利要求1所述的方法，其特征在于，所述基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况，包括：

基于所述眼动信号数据确定所述操作对象的注视点扫描路径；

基于所述注视点扫描路径确定所述操作对象的注视位置变化情况。

3.根据权利要求1所述的方法，其特征在于，所述人因数据包括脑电信号数据、皮电信号数据、心率信号数据中的至少一个；所述方法还包括：

基于所述脑电信号数据进行负荷状态识别，得到所述操作对象的负荷状态数据；

基于所述皮电信号数据和所述心率信号数据进行情绪状态识别，得到所述操作对象的情绪状态数据；

根据所述负荷状态数据和/或所述情绪状态数据对所述操作对象的工作状态进行预警。

4.根据权利要求1所述的方法，其特征在于，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：

根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，作为所述目标协同状态数据；或者

根据所述作业画面图像进行人机协同状态识别，得到所述当前作业任务的当前协同状态数据，根据所述当前协同状态数据确定所述当前作业任务的相邻作业任务的所述目标协同状态数据。

5.根据权利要求1所述的方法，其特征在于，所述基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据，包括：

将所述作业画面图像输入至目标状态识别模型中进行人机协同状态的识别，得到所述目标协同状态数据。

6.根据权利要求5所述的方法，其特征在于，通过以下方式训练得到所述目标状态识别模型：

获取对历史作业过程进行拍摄得到的样本画面图像；其中，所述样本画面图像的标签包括标注任务标识、标注动作数据、所述标注动作数据对应的标注工具类别；

将所述样本画面图像输入至初始状态识别模型中进行预测，得到预测任务标识、预测动作数据、所述预测动作数据对应的预测工具类别；

基于所述标注任务标识、所述标注动作数据、所述标注工具类别、所述预测任务标识、所述预测动作数据以及所述预测工具类别对所述初始状态识别模型进行更新，得到所述目标状态识别模型。

7.根据权利要求6所述的方法，其特征在于，通过以下方式确定所述样本画面图像的标签：

对所述历史作业过程进行任务分解，得到若干按照时间排序的样本作业任务；

基于所述作业任务的任务标识确定所述标注任务标识；

基于所述样本作业任务所涉及的动作进行编码，得到所述标注动作数据；

基于执行所述样本作业任务所涉及的动作时所使用的工具进行编码，得到所述标注工具类别。

8.根据权利要求1-3、5-7任一项所述的方法，其特征在于，所述根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈，包括：

根据所述目标协同状态数据确定所述当前作业任务的下一作业任务的预备状态数据；其中，所述预备状态数据用于表征所述操作对象需要为所述下一作业任务进行预先准备的情况；

基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈。

9.根据权利要求8所述的方法，其特征在于，所述基于所述预备状态数据和所述人员状态数据对所述人机协同过程进行状态反馈，包括：

确定与所述人员状态数据对应的目标提醒方式；

以所述目标提醒方式展示所述预备状态数据，以提醒所述操作对象为所述下一作业任务进行预先准备。

10.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于针对所述人机协同过程反馈的状态数据进行决策控制，以按照与所述当前作业任务的下一作业任务的匹配的执行方式执行所述下一作业任务，其中，所述执行方式为人机协同方式、人主导方式、机器主导方式中任一个。

11.一种基于虚实融合的人机协同状态反馈装置，其特征在于，所述装置包括：

任务数据获取模块，用于获取当前作业任务的人机协同过程中操作对象的人因数据，以及对所述人机协同过程进行拍摄得到的作业画面图像，所述作业画面图像至少包括操作设备及操作环境的设定参数；

人机协同状态识别模块，用于基于所述作业画面图像进行人机协同状态识别，得到所述当前作业任务对应的目标协同状态数据；

人员状态识别模块，用于基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据；

状态反馈模块，用于根据所述目标协同状态数据和所述人员状态数据，对所述人机协同过程进行状态反馈；

所述人因数据包括眼动信号数据，所述人员状态数据包括任务预判状态数据；所述基于所述人因数据进行人员状态识别，得到所述操作对象的人员状态数据，包括：

基于所述眼动信号数据进行注视位置的识别，得到所述操作对象的注视位置变化情况；其中，所述注视位置变化情况用于描述所述操作对象的注视位置随着所述当前作业任务的执行时间变化的情况；

基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据；

所述当前作业任务对应当前任务区域范围，所述下一作业任务对应下一任务区域范围；所述基于所述注视位置变化情况判断所述操作对象是否对所述当前作业任务的下一作业任务进行预判，得到所述任务预判状态数据，包括：

基于所述注视位置变化情况判断所述操作对象的至少部分注视资源是否从所述当前任务区域范围转移至所述下一任务区域范围，得到所述任务预判状态数据。

12.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述的方法的步骤。

13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。