CN106775910A - 一种基于交互装置的人机交互方法及系统 - Google Patents

Abstract

本发明提供了一种基于交互装置的人机交互方法及系统。用户在操作端输入操作指令后，发送到交互装置；交互装置接收操作指令，通过编译规则编译为标准的格式化指令，将编译后的格式化指令反馈给用户，确认该格式化指令是否能正确反映用户的操作意愿。对于被控机器是智能设备，交互装置直接将格式化指令发送到被控端，并在机器设备自动执行操作指令后采集机器设备的执行结果和运行状态；对于被控机器是非智能设备，交互装置存储格式化指令，执行相应的格式化指令，控制非智能机器执行操作，并在机器设备执行操作后采集机器设备的执行结果和运行状态。对采集到的格式化信息，通过反编译为自然语言，以方便用户阅读获取最终的交互结果。

Description

一种基于交互装置的人机交互方法及系统

技术领域

本发明涉及人机交互领域，尤其是涉及到基于交互装置的人机交互方法、系统。

背景技术

现代社会中，人类希望同机器设备有一个良好的互动过程，在交互的过程中能够灵活精确的调控机器设备，或让机器设备学会理解人类的思想。在日常生活中，和人类接触最多的机器设备基本都是传统的机器设备，智能设备占有比例很小，严重影响人类同机器的交互进程。目前人机交互的主要方式是在特定的区域内，通过感应器感知人类的行为，从而控制机器设备。这种人机交互方式中距离有很大的限制，且这样的交互方式比较模糊，很多时候都不能准确的表达人类的思想。

发明内容

本发明的目的在于针对现有技术的不足，提供了一种基于交互装置的人机交互方法及系统。本发明通过一种交互装置，对人类和机器交互过程的信息进行编译和反编译，从而高效提高了人机交互的准确性。

本发明的目的是通过以下技术方案来实现的：一种基于交互装置的人机交互方法，具体包括以下步骤：

步骤1、用户在操作端输入操作指令，操作端将操作指令发送到交互装置；

步骤2、交互装置接收到相关的操作指令，且通过编译规则对操作指令进行格式化编译，将编译后的操作指令反馈到操作端；

步骤3、用户判断编译的格式化指令是否正确，且反馈到交互装置。如被控机器是智能机器设备，则交互装置将编译后的操作指令发送到智能机器设备。如被控机器是非智能机器设备，则交互装置直接存储编译后的操作指令；

步骤4、如被控机器是智能机器设备，则自动执行相应的操作指令，且交互装置采集机器设备的执行结果和机器设备的运行状态；如被控机器是非智能机器设备，则交互装置控制机器设备执行相应的操作指令，且交互装置采集机器设备的执行结果和机器设备的运行状态；

步骤5、交互装置将采集到的格式化信息进行反编译，将反编译后的格式化信息反馈到操作端，用户得到交互的结果。

所述步骤1中，所述操作端，是可以输入和/或输出信息且可以通信的设备，如智能手机、电脑等。所述操作指令，是用户通过自然语言描述自己意愿对电器设备采取的操作行为，如控制加热器的加热、开启空调等。所述用户在操作端输入操作指令，其输入操作指令的方式有两种方式，一种是手动输入操作指令，另一种是语音输入操作指令。

所述步骤2中，所述编译规则，对用户输入的操作指令从前到后依次检索信息，对“时间、地点、机器设备、工作模式”敏感信息进行提取，并将提取到的敏感信息进行格式化，形成格式化指令。所述的格式化指令的格式包括操作人员、时间、地点、机器设备和工作模式字段。当提取到的敏感信息，不满足构建标准的格式化指令所必须的信息时，提示用户输入相应的敏感信息；所述敏感信息，是在建立标准的格式化指令过程中，必要的信息，如时间、地点、机器设备、工作模式；所述将编译后的指令信息反馈到操作端，是将编译后的格式化指令发送给用户。

所述步骤3中、所述用户判断编译的指令信息是否正确，用户经过判断操作端接收到的格式化指令是否能正确编译自己的操作意愿；所述被控机器是智能机器设备，是能够同时接受、存储和自动执行操作指令的机器设备；所述被控机器是非智能机器设备，是能够接受和执行信息的机器设备。

所述步骤4中，所述交互装置采集机器设备的执行结果和机器设备的运行状态，交互装置采集机器设备的执行结果，是为确认操作指令是否正确执行。交互装置采集机器设备的运行状态，是为将机器设备运行过程中的详细状态反馈给用户，以便给用户清晰透明的交互体验。

所述步骤5中，所述交互装置将采集到的格式化信息进行反编译，控制器采集到机器设备的详细信息后，将格式化信息转化为自然语言，以便用户能够更好的理解掌握机器设备的运行状态。所述采集到机器设备信息的包括：时间、地点、机器设备、指令执行结果和运行状态字段。

进一步的，本发明提供的一种基于交互装置的人机交互方法中，所述交互装置是一种可以进行通信的设备，可以通过互联网、蓝牙、WIFI等进行通信。

本发明还提供了一种基于交互装置的人机交互系统，包括以下部分：

操作端，所述操作段用于输入用户的操作指令和输出人机交互结果的详细信息，是用户和机器设备交互的出入口；

交互装置，所述交互装置用于用户和机器设备之间信息交互的转化，在整个人机交互过程中起到中心枢纽的作用；

所述交互装置包括以下单元：

通信单元，所述通信单元用户传输用户输入的操作指令或机器设备执行结果的信息。

编译单元，所述编译单元用于将用户输入的操作指令，通过编译规则，编译为标准的格式化指令，并且将采集到的机器设备信息，如机器设备的执行结果和运行状态，通过反编译转化为适合用户阅读的自然语言。

控制单元，所述控制单元用于交互装置对被控端的控制，当机器设备是智能设备时，控制单元用于控制将标准的格式化指令发送到智能设备，当机器设备是非智能设备时，控制单元通过执行格式化指令，控制机器设备执行相应的操作。

采集单元，所述采集单元用于采集机器设备的执行结果和机器设备的运行状态。

本发明的有益效果是，本发明通过一种新型的方式实现人机交互，即通过中间交互装置起到一种枢纽调控作用，一方面可以将用户用自然语言描述的操作指令，通过编译成为标准的格式化指令。另一方面可以将采集到的机器设备的格式化信息，通过反编译成为方便用户阅读理解的自然语言。本发明提供的基于交互装置的人机交互方式，不仅可以完美解决目前人类和传统非智能机器设备的交互过程，因交互装置可以进行无线通信，还可以解决目前人机交互方式中存在的交互距离短、交互过程模糊的缺点，具有很强的推广作用。

附图说明

图1为本发明提供了一种基于交互装置的人机交互方法的流程图；

图2为本发明提供了一种基于交互装置的人机交互系统的组成框图。

具体实施方式

下面根据附图和实施例详细描述本发明，本发明的目的和效果将变得更加明显。

实施例1

本实施例提供了一种基于交互装置的人机交互方法，具体包括以下步骤：

S101用户在操作端输入操作指令，操作端将操作指令发送到交互装置。

例如，用户A在操作端手动输入一条操作指令“在晚上6点开启卧室空调，调节空调的工作模式为‘制冷&27℃&微风’”；或者用户也可以通过语音输入一条操作指令，生成音频文件，发送到交互装置。。另外，用户还可以在操作端预先维护家里的设备信息。

S102交互装置接收到相关的操作指令后，通过编译规则对操作指令进行格式化编译，将编译后的操作指令反馈到操作端。对操作指令的编译，根据接收到的操作指令，依次从前到后检索操作指令，将时间、地点、机器设备、工作模式等敏感的信息进行检索提取，并将敏感信息编译为标准的格式化指令。

例如，交互装置接收到步骤1中的操作指令后，判断是文本格式还是音频格式，如果是音频格式，通过现有的语音识别技术，将音频格式解析成文本格式。

在交互装置中预先加载词库，采用基于字符串匹配的分词方法，按照正向最大匹配的扫描方式，逐个查找词库进行分词，按照时间、地点、设备、工作模式顺序进行格式化，得到格式化后的指令。例如词库中包含描述时间的单词，可能包含“早上、中午、晚上、现在、小时、分、分钟、分钟后……”等组合，当获得解析后文本格式的操作指令，首先将经过分词处理后的词语在词库中进行匹配，如果在词库中找到代表时间含义的字符串，则匹配成功，将时间信息添加到格式化指令中，同理依次处理得到地点、设备、工作模式，最后组成格式化的操作指令。

在步骤S101用户输入操作指令后，顺序检索该操作指令，获取其中的敏感信息，包括时间、地点、设备、工作模式，得到“晚上6点、卧室、空调、‘制冷&27℃&微风’”和“20分钟后、卧室、空调、‘制冷&27℃&微风’”，将敏感信息编译为标准的格式化指令，其格式化指令为：

用户A	晚上6点	卧室	空调	制冷&27℃&微风
					用户A	20分钟后	卧室	空调	制冷&27℃&微风

最后交互装置将本次的格式化指令信息反馈到操作端，给用户A相关的反馈信息。

上述标准的格式化指令中，时间因素是非必须因素，当未获取时间时，默认为当前时间。

当交互装置经过检索操作指令，分析发现用户输入的敏感信息不完善，反馈给操作端，提示用户输入相应的敏感信息。

例如，用户A输入操作指令“在晚上8点开启热水器，加热到28℃并保温15分钟”，经过交互装置检索分析后，发现用户A没有输入相关地点，将该信息反馈到操作端，提示用户A输入地点。用户A经过判断，输入相应的信息“浴室”，交互装置即可完成整条操作指令的格式化。

又如，用户A语音输入操作指令，通过现有语音识别技术分析，得出操作指令“打开客厅空调，调节空调的工作模式为‘26℃&制冷&中风’”，经过交互装置检索分析，发现用户A没有输入时间，将该信息反馈到操作端，提示用户输入时间。用户A经过判断，输入相应的信息“现在”，交互装置即可完成整条操作指令的格式化。

S103用户判断编译的操作指令是否正确，且反馈到交互装置。假如被控机器是智能机器设备，则交互装置将编译后的操作指令发送到智能机器设备。假如被控机器是非智能机器设备，则交互装置直接存储编译后的操作指令。

例如，在操作端，用户A接收到反馈信息为：

用户A

晚上6点

卧室

空调

制冷&27℃&微风

经过用户判断，该操作指令可以正确反映用户A的操作意愿，将确认信息反馈到交互装置；经交互装置判断用户A此次欲操作的空调是智能空调时，直接将该格式化指令发送到卧室的智能空调。

又如，在操作端，用户A接收到的反馈信息为：

用户A

20分钟后

卧室

空调

制冷&27℃&微风

经过用户判断，该操作指令可以正确反映用户A的操作意愿，将确认信息反馈到交互装置；经交互装置判断用户A的此次欲操作的空调是非智能空调时，交互装置直接存储该操作指令。

S104如被控机器是智能机器设备，则自动执行相应的操作指令，且交互装置采集机器设备的执行结果和机器设备的运行状态；如被控机器是非智能机器设备，则交互装置控制机器设备执行相应的操作指令，且交互装置采集机器设备的执行结果和机器设备的运行状态。

例如，对用户A发出的操作指令，卧室的智能空调在晚上6点自动执行操作指令，调节工作模式为“制冷&27℃&微风”，交互装置采集空调的执行结果‘完成执行’和电器的运行状态‘制冷&27℃&微风’。

又如，对用户A发出的操作指令，交互装置在20分钟后，执行操作指令，控制卧室的非智能空调的工作模式为‘制冷&27℃&微风’，并采集空调的执行结果‘完成执行’和空调的运行状态‘制冷&27℃&微风’。

S105交互装置将采集到的格式化信息进行反编译，将反编译后的格式化信息反馈到操作端，用户得到交互的结果。

例如，交互装置采集到智能空调格式化的信息为：

晚上6点

卧室

空调

成功完成

制冷&27℃&微风

交互装置将得到的格式化反馈信息转化为自然语言“在晚上6点，卧室的空调成功执行了操作指令，现在空调的运行状态为‘制冷&27℃&微风’”。

实施例2

本实施例提供了一种基于交互装置的人机交互系统，包括以下部分：

S201操作端部分，用户的操作指令和输出人机交互结果的详细信息，是用户和机器设备交互的出入口。

例如，用户A可以在操作端输入操作指令“晚上10点，浴室的加热器加热到40℃，保温30分钟”，该操作指令通过操作单元部分进入系统内部。当加热器成功执行了用户A的操作指令信息后，将加热器的执行结果“成功执行完成”和加热器的运行状态“加热到40℃、保温30分钟”等详细信息通过该操作端部分反馈给用户A。

S202交互装置部分，该交互装置用于用户和机器设备之间信息交互的转化，在整个人机交互过程中起到中心枢纽的作用；

例如，交互装置将用户A输入的操作指令“晚上10点，浴室的加热器加热到40℃，保温30分钟”，经过转化形成标准的格式化指令：

用户A

晚上10点

浴室

加热器

加热到40℃，保温30分钟

该格式化指令供交互装置对机器设备的操作控制。交互装置采集到机器设备的格式化信息：

晚上10点

浴室

加热器

成功执行

温度40℃，已经持续保温30分钟

经过转化形成用户熟悉的自然语言“在晚上10点，浴室的加热器成功执行了操作指令，现在加热器的运行状态为‘温度40℃，已经持续保温30分钟’”。

进一步的，S202交互装置包括以下单元：

a2021通信单元，该单元用于交互装置和操作端及机器设备进行交互信息的通信。

例如，通信单元接收用户在操作端输入的操作指令“晚上10点，浴室的加热器加热到40℃，保温30分钟”；

又如，将采集到的机器设备信息“在晚上10点，浴室的加热器成功执行了操作指令，现在加热器的运行状态为‘温度40℃，已经持续保温30分钟’”反馈到操作端。

a2022编译反编译单元，该单元用于将用户输入的操作指令，通过编译规则，编译为标准的格式化指令，并且将采集到的机器设备信息，如机器设备的执行结果和运行状态，通过反编译转化为适合用户阅读的自然语言。

例如，编译反编译单元将用户A输入的操作指令，通过获取操作指令中的时间、地点、设备名称、工作模式等敏感信息，编译为标准的格式化指令

用户A

晚上10点

浴室

加热器

加热到40℃，保温30分钟

通过采集机器设备的格式化信息：

晚上10点

浴室

加热器

成功执行

温度40℃，已经持续保温30分钟

通过反编译，将上述格式化信息反编译为自然语言“在晚上10点，浴室的加热器成功执行了操作指令，现在加热器的运行状态为‘温度40℃，已经持续保温30分钟’”。

a2023控制单元，该单元用于交互装置对机器设备的控制，当机器设备是智能设备时，控制单元将标准的格式化指令发送到智能设备，当机器设备是非智能设备时，控制单元通过执行格式化指令，控制机器设备执行相应的操作。

例如，当机器设备是智能空调时，控制单元将标准的格式化指令发送到智能空调；当机器设备是非智能空调时，控制单元执行相应的格式化指令，并控制非智能空调设备执行相应的操作。

a2024采集单元，该单元用于采集机器设备的执行结果和机器设备的运行状态。

例如，在晚上10点，采集单元主动采集浴室的加热器是否成功执行完成相应的操作指令，并采集加热器的运行状态：

Claims (10)

1.一种基于交互装置的人机交互方法，其特征在于，包括以下步骤：

步骤1、用户在操作端输入操作指令，操作端将操作指令发送到交互装置。

步骤2、交互装置接收到操作指令，通过编译规则对操作指令进行格式化编译，将编译后的操作指令反馈到操作端。

步骤3、用户判断编译的操作指令是否正确，且反馈到交互装置，如被控机器是智能机器设备，则交互装置将编译后的操作指令发送到智能机器设备，如被控机器是非智能机器设备，则交互装置直接存储编译后的操作指令。

步骤4、如被控机器是智能机器设备，则自动执行相应的操作指令，且交互装置采集机器设备的执行结果和机器设备的运行状态；如被控机器是非智能机器设备，则交互装置控制机器设备执行相应的操作指令，且交互装置采集机器设备的执行结果和机器设备的运行状态。

步骤5、交互装置将采集到的格式化信息进行反编译，将反编译后的格式化信息反馈到操作端，用户得到交互的结果。

2.根据权利要求1所述的一种基于交互装置的人机交互方式，其特征在于，所述操作端是可以输入和/或输出信息且可以通信的设备，是用户和机器设备进行交互的出入口；所述用户在操作端输入操作指令，其输入操作指令的方式有两种方式，一种是手动输入操作指令，另一种是语音输入操作指令；所述操作指令是能够表达用户操作意愿的自然语言，其中包含用户意对机器设备执行的操作；所述交互装置是可以接收和/或发送操作指令的通信设备，且交互装置可以编译和/或反编译自然语言和机器语言。

3.根据权利要求1所述的一种基于交互装置的人机交互方式，其特征在于，所述步骤2中所述通过编译规则对操作指令进行格式化编译，包括采用基于字符串匹配的分词方法，按照正向最大匹配的扫描方式，逐个查找词库进行分词，提取“时间、地点、设备、工作模式”信息，并按照时间、地点、设备、工作模式顺序组成格式化指令；所述的标准的格式化指令包括：操作人员、时间、地点、机器设备和工作模式字段；当提取到的敏感信息，不满足构建标准的格式化指令所必要的信息时，提示用户输入相应的敏感信息；所述敏感信息，是在建立标准的格式化指令过程中，必须需要的信息，如时间、地点、机器设备、工作模式；所述编译后的操作指令，是将用户输入的操作指令，经过编译规则编译后形成标准的格式化指令。

4.根据权利要求1所述的一种基于交互装置的人机交互方式，其特征在于，所述用户判断编译的操作指令是否正确，是操作端在接收到交互装置反馈回来标准的格式化指令后，用户判断该格式化指令是否能正确反映用户本身的操作意愿，并选择正确选项；所述被控机器，是同用户进行交互的机器设备；所述被控机器是智能机器设备，是可以自我存储和自动执行格式化指令信息的机器设备；所述被控机器是非智能机器设备，是仅可以被动执行操作指令，不能自动存储和自动执行格式化指令信息的机器设备。

5.根据权利要求1所述的一种基于交互装置的人机交互方式，其特征在于，所述交互装置采集机器设备的执行结果和机器设备的运行状态，交互装置在执行相关的格式化指令后，交互装置采集机器设备是否正确执行操作指令，并采集机器设备的运行参数。

6.根据权利要求1所述的一种基于交互装置的人机交互方式，其特征在于，所述交互装置将采集到的格式化信息进行反编译，交互装置采集到机器设备的执行结果和运行状态，其标准的格式化信息包括：时间、地点、机器设备、指令执行结果和运行状态字段等；交互装置将该格式化信息反编译为自然语言，按照从前到后的顺序，转化为自然语言。

7.一种基于交互装置的人机交互系统，包括：

操作端，所述操作端用于输入用户的操作指令和输出人机交互结果的详细信息；和

交互装置，所述交互装置用于用户和机器设备之间交互信息的转化。

8.根据权利要求7所述的一种基于交互装置的人机交互系统，其特征在于，所述交互装置包括：

通信单元，所述通信单元用于传输用户输入的操作指令和/或机器设备执行结果的信息；

编译单元，所述编译单元用于将用户输入的操作指令，通过编译规则，编译为标准的格式化指令，并且将采集到的机器设备格式化信息，通过反编译转化为适合用户阅读的自然语言。

控制单元，所述控制单元用于交互装置对被控机器的控制，当机器设备是智能机器设备时，控制单元用于控制将标准的格式化指令发送到智能机器设备，当机器设备是非智能机器设备时，控制单元通过执行格式化指令，控制机器设备执行相应的操作；和

采集单元，所述采集单元用于采集机器设备的执行结果和机器设备的运行状态。

9.根据权利要求8所述的一种基于交互装置的人机交互系统，其特征在于，所述标准的格式化指令包括操作人员、时间、地点、机器设备和工作模式字段等，所述机器设备的信息格式包括时间、地点、机器设备、指令执行结果和运行状态字段等。

10.根据权利要求8所述的一种基于交互装置的人机交互系统，其特征在于，所述采集单元是在机器设备在执行完操作指令后，交互装置主动采集机器设备是否成功执行操作指令和机器设备的运行状态。