CN120301919A - 控制方法和电子设备 - Google Patents

Abstract

本申请公开了控制方法和电子设备。属于通信技术领域。该方法的实施例包括：在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；响应于第一输入，确定三维模型中的目标墙体，并显示三维模型中被所述目标墙体遮挡的至少一个物联网设备；在接收到用户的第二输入的情况下，确定至少一个物联网设备中的目标物联网设备，并向目标物联网设备发送控制指令。

Description

控制方法和电子设备

技术领域

本申请实施例涉及通信技术领域，具体涉及控制方法和电子设备。

背景技术

随着智能家居的普及，用户家庭中通常存在多房间分布的物联网(Internet ofThings，IoT)设备，例如，智能灯具、空调、窗帘等。用户可借助扩展现实(ExtendedReality，XR)设备，对物联网设备进行控制。

现有技术中，扩展现实设备仅支持对用户视野范围内的物联网设备进行可视化操控，无法对墙体遮挡的物联网设备进行操控。若需操控墙体遮挡的物联网设备，需要用户移动至该设备所在房间，这种方式操作繁琐，效率低下。

发明内容

本申请实施例的目的是提供一种控制方法和电子设备，能够提高对墙体遮挡的物联网设备的控制效率。

第一方面，本申请实施例提供了一种控制方法，应用于扩展现实设备，该方法包括：在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；响应于所述第一输入，确定所述三维模型中的目标墙体，并显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；在接收到用户的第二输入的情况下，确定所述至少一个物联网设备中的目标物联网设备，并向所述目标物联网设备发送控制指令。

第二方面，本申请实施例提供了一种控制装置，应用于扩展现实设备，该装置包括：接收单元，用于在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；第一确定单元，用于响应于所述第一输入，确定所述三维模型中的目标墙体，并显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；第二确定单元，用于在接收到用户的第二输入的情况下，确定所述至少一个物联网设备中的目标物联网设备，并向所述目标物联网设备发送控制指令。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上述第一方面所描述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所描述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；响应于第一输入，确定三维模型中的目标墙体，并显示三维模型中被上述目标墙体遮挡的至少一个物联网设备；在接收到用户的第二输入的情况下，确定至少一个物联网设备中的目标物联网设备，并向目标物联网设备发送控制指令。通过扩展现实设备对用户所在房屋的三维模型中被目标墙体遮挡的物联网设备进行可视化，用户无需移动到目标物联网设备所在房间，可直接在当前房间通过扩展现实设备完成对目标物联网设备的跨房间的可视化操控，降低了用户操作的复杂度，提高了对墙体遮挡的物联网设备的控制效率。

附图说明

图1是本申请实施例提供的控制方法的流程图；

图2A是本申请实施例提供的控制方法的应用场景的示意图；

图2B是本申请实施例提供的控制方法的应用场景的示意图；

图3A是本申请实施例提供的控制方法的应用场景的示意图；

图3B是本申请实施例提供的控制方法的应用场景的示意图；

图4A是本申请实施例提供的控制方法中三维模型生成过程的示意图；

图4B是本申请实施例提供的控制方法中三维模型生成过程的示意图；

图5是本申请实施例提供的控制装置的结构示意图；

图6是本申请实施例提供的电子设备的结构示意图；

图7是适于用来实现本申请实施例的电子设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。

下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的控制方法和装置进行详细地说明。

请参考图1，其示出了本申请实施例提供的控制方法的流程图之一。本申请实施例提供的控制方法，可以应用于扩展现实(Extended Reality，XR)设备。扩展现实设备指能够将虚拟内容与现实环境融合的设备，具体可包括但不限于虚拟现实(VirtualReality，VR)设备、混合现实(Mixed Reality，MR)设备等。其中，虚拟现实设备是一种能够创建完全虚拟的三维环境的设备，允许用户与虚拟环境进行交互。混合现实设备涵盖了虚拟现实、增强现实和混合现实等技术，能够创建融合了虚拟和现实元素的环境，其能够识别和理解现实环境，并将虚拟元素叠加或整合到现实世界中。

本申请实施例提供的控制方法的流程，包括以下步骤：

步骤101，在显示用户所在房屋的三维模型的情况下，接收用户的第一输入。

在本实施例中，用户所在房屋可以指特定的用户可移动空间，例如，可以是住宅、公司等。用户所在房屋可以包括至少一个房间。房间之间可以以墙体相隔。用户所在房屋可以包括至少一个楼层，楼层之间也可以以墙体相隔。实践中，扩展现实设备可在显示屏中实时显示上述三维模型中用户当前视野对应的区域。随着用户视野的变化，所显示的三维模型的区域随之变化。

在本实施例中，三维模型是指通过扩展现实中的传感器扫描以及建模算法生成的用户所在房屋的三维几何模型，可包括墙体、物联网设备和其余室内设施的空间位置和几何信息。实践中，用户佩带扩展现实设备进行全屋移动的过程中，扩展现实设备可预先通过激光雷达、摄像头、惯性测量单元(InertialMeasurement Unit，IMU)等传感器扫描全屋空间，并结合语义分割技术等生成高精度的三维模型。

在本实施例中，第一输入可用于选定三维模型中的目标墙体。第一输入可以是眼动输入，也可以是手势输入，还可以是语音输入，或者为其他可行性输入，具体的可以根据实际使用需求确定，本申请实施例不作限定。

示例性地，参见图2A，用户位于住宅中的玄关，用户所佩带的扩展现实设备可显示全屋的三维模型中用户视野范围内的区域，具体可包括部分客厅区域。用户凝视玄关与客厅之间的墙体超过2秒，或者，手指指向玄关与客厅之间的墙体超过2秒，可完成第一输入。此时，可将用户所凝视或者手指指向的墙体确定为目标墙体，参见标号201所示。

步骤102，响应于第一输入，确定三维模型中的目标墙体，并显示三维模型中被目标墙体遮挡的至少一个物联网设备。

在本实施例中，目标墙体是指用户通过第一输入指定的墙体。物联网设备是指能够通过互联网连接并与其他设备、云端或用户交互的设备。例如，可包括但不限于智能灯具、空调、窗帘、扫地机器人等，这些设备可以通过扩展现实设备进行控制。

在本实施例中，响应于第一输入，可以首先确定第一视线方向。第一视线方向是指用户在触发第一输入时的视线方向，可通过扩展现实设备的追踪系统确定。追踪系统可使用内置的IMU传感器和摄像头来确定用户的头部和眼睛位置，从而计算出视线方向。

在本实施例中，被目标墙体遮挡的至少一个物联网设备的显示方式和样式可根据需要预先设定，此处不作限定。需要说明的是，在显示被目标墙体遮挡的物联网设备的同时，还可以显示被目标墙体遮挡的其他对象，例如家具等，此处不作具体限定。

可选地，可以对目标墙体进行弱化显示，以透视显示三维模型中被目标墙体遮挡的至少一个物联网设备。弱化显示是指通过调整显示效果使墙体的显示效果变弱，以透视显示墙体后方的物联网设备。弱化显示方式可包括但不限于提高透明度、仅显示轮廓线、隐藏目标墙体等。透视显示可包括但不限于以下至少一项：在目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的轮廓线、在目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的视觉图像。

作为示例，可以隐藏三维模型中的目标墙体，以使被目标墙体遮挡的物联网设备能够显示。作为又一示例，可以调整三维模型中的目标墙体的透明度，以使被目标墙体遮挡的物联网设备能够被透视显示。作为再一示例，基于参见图2A，用户凝视玄关与客厅之间的墙体201超过2秒后，该墙体201的透明度可提高，并保留墙体轮廓线，同时将被该墙体遮挡的智能台灯202可高亮显示。

实践中，三维模型中的每个物体具有对应的视觉图像，视觉图像可在对用户所在房屋进行全局扫描时通过摄像头等传感器获取。由此，在不同方位和角度下都可以看到物体的样貌。透视显示的被遮挡区域中的物联网设备，不仅可以包括三维模型中该物联网设备的轮廓，还可以包括对用户所在房屋进行全局扫描时获取的该物联网设备的视觉图像。

通过弱化显示目标墙体并透视显示被其遮挡的物联网设备，用户可以直观看到被目标墙体遮挡的物联网设备，增强了空间感知能力。例如，用户在客厅即可查看卧室的空调状态，无需进入卧室。

步骤103，在接收到用户的第二输入的情况下，确定至少一个物联网设备中的目标物联网设备，并向目标物联网设备发送控制指令。

在本实施例中，第二输入可用于选定目标物联网设备以及触发控制指令的生成。第二输入可以包括眼动输入，也可以包括手势输入，还可以包括语音输入，或者包括其他可行性输入，具体的可以根据实际使用需求确定，本申请实施例不作限定。其中，上述手势输入可以包括但不限于捏合、拖拽、指向等。目标物联网设备可以是上述至少一个物联网设备中的任一物联网设备。控制指令为用于控制目标物联网设备的指令。

在本实施例中，针对不同的物联网设备，可预先设置不同控制指令与输入方式的对应关系。基于针对目标物联网设备预先设置的对应关系，可确定对应于第二输入的控制指令，从而生成并发送该控制指令。

示例性地，继续参见图2A，三维模型中的目标物联网设备为处于开启状态的智能台灯202。用户眼动瞄定该智能台灯202，同时通过手势触发智能台灯202的开关控制区域203后，即可完成第二输入，此时，可以向智能台灯发送关闭指令，使之关闭。

可选地，在向目标物联网设备发送控制指令后，还可以接收目标物联网设备的状态信息，以基于该状态信息动态更新所显示的虚拟界面。例如，在调节灯光后，可同步更新虚拟界面的亮度。由此，可提高虚拟界面的真实性。

可选地，可通过如下步骤向目标物联网设备发送控制指令：

步骤S11，接收用户对三维模型中目标物联网设备的第三输入。

步骤S12，响应于第三输入，显示目标物联网设备的虚拟控制面板。

步骤S13，接收用户对虚拟控制面板的第四输入。

步骤S14，响应于第四输入，生成控制指令，并向目标物联网设备发送控制指令。

其中，第三输入可用于触发目标物联网设备的虚拟控制面板的显示。第三输入可以包括眼动输入，也可以包括手势输入，还可以包括语音输入，或者包括其他可行性输入，具体的可以根据实际使用需求确定，本申请实施例不作限定。第四输入可用于触发对目标物联网设备的控制指令。第四输入可以包括眼动输入，也可以包括手势输入，还可以包括语音输入，或者包括其他可行性输入，具体的可以根据实际使用需求确定，本申请实施例不作限定。虚拟控制面板是指在扩展现实设备的显示界面中生成的用于控制目标物联网设备的界面。虚拟控制面板中可包含各种可交互的控件，例如，按钮、滑块、开关等；虚拟控制面板中也可包括目标物联网设备采集的信息，例如，温度、湿度等。虚拟控制面板可以通过如PointNet++等的深度学习模型对各物联网设备的功能进行分析后生成。

示例性地，参见图2B，目标物联网设备为智能台灯202。用户凝视智能台灯202超过2秒，可完成第三输入。此时，可显示智能台灯202的虚拟控制面板204。通过虚拟控制面板，不仅可以控制智能台灯202开启和关闭，还可以调节其亮度。用户可通过手势输入或者眼动输入，与虚拟控制面板204进行交互。例如，若用户凝视虚拟控制面板204中的开关键，则可以向处于关闭状态的智能台灯202发送开启指令，以控制其开启。

需要说明的是，第二输入与第三输入也可以是相同输入，此时，在接收到用户的第二输入的情况下，可在选中目标物联网设备的同时，显示该目标物联网设备的虚拟控制面板。

通过显示虚拟控制面板，用户可以直观地对物联网设备进行更为精细的操作，无需记忆复杂的操作流程，提高了对物联网设备控制的便捷性和准确性。

可选地，可通过如下步骤实现控制指令的传输：首先，通过消息队列遥测传输(Message Queuing Telemetry Transport，MQTT)协议，向家庭网关发送对目标物联网设备的控制指令。而后，通过家庭网关，将控制指令转发至目标物联网设备。

其中，消息队列遥测传输协议是一种轻量级的消息传输协议，专为低带宽、高延迟或不可靠的网络环境设计，常用于物联网设备的通信。家庭网关是家庭网络中的中央设备，负责连接家庭内部网络和外部网络，管理家庭网络中的所有物联网设备，转发控制指令和状态数据。

消息队列遥测传输协议的轻量级特性使其在低带宽、高延迟的网络环境中表现优异，确保控制指令能够快速传输到家庭网关。例如，用户发送“开灯”指令后，灯光能够在100毫秒内响应，提供即时的反馈，确保了控制指令发送的准确性和及时性。另外，消息队列遥测传输协议支持消息确认和重传机制，确保控制指令的可靠传输。即使在网络不稳定的情况下，系统也能通过重传机制保证指令的成功送达。此外，消息队列遥测传输协议支持大规模设备的连接和管理，家庭网关能够轻松扩展以支持更多物联网设备。例如，用户可以轻松添加新的物联网设备到家庭网络中，而无需修改现有的通信架构。

通过消息队列遥测传输协议进行控制指令的传输，并通过家庭网关的集中管理，能够方便快捷地进行物联网设备的连接和控制指令的发送，提高了网络的稳定性和安全性。

需要说明的是，用户可操作的对象不限于被目标墙体遮挡的物联网设备，还可以包括被目标墙体遮挡的其他对象以及未被目标墙体遮挡的物联网设备。作为示例，参见图3A，用户可以通过手势指向三维模型中的客厅的地面，并通过语音控制扫地机器人301前往清扫。作为又一示例，参见图3B，用户可眼动瞄定三维模型中如标号302所示的窗帘2秒，使窗帘轮廓线高亮显示并进入可交互状态，并通过手势操作进行捏和或拖拽，触发对窗帘的关闭指令生成。进一步地，还可以依据用户拖拽幅度，映射窗帘的开合比例，以对其进行精确控制。

进一步地，还可以根据用户与目标物联网设备的相对位置，自动调整所显示的三维模型中的无关对象的显示样式。例如，在用户操控位于客厅的物联网设备时，可弱化显示卧室的墙体。

传统智能家居控制方式需要用户通过应用或语音助手进行多步操作。例如，依次打开应用、选择房间、选择设备、调节参数、确认操作等。而申请实施例通过扩展现实设备对用户所在房屋的三维模型中被目标墙体遮挡的物联网设备进行可视化，用户无需移动到目标物联网设备所在房间，可直接在当前房间通过扩展现实设备完成对目标物联网设备的跨房间的可视化操控，降低了用户操作的复杂度，提高了对墙体遮挡的物联网设备的控制效率。同时，可适用于多房间、多楼层的复杂房屋结构，满足用户在复杂场景下对全屋物联网设备的控制需求。

在一些可选的实施例中，上述三维模型为三维几何模型。在显示用户所在房屋的三维模型之前，还可以执行如下步骤，以生成三维模型：

步骤S21，通过扩展现实设备中的传感器对用户所在房屋进行全局扫描，得到传感器数据。

具体地，在用户佩带扩展现实设备在房屋内活动的过程中，扩展现实设备可通过安装于其上的传感器对用户所在房屋进行全局扫描，以获得传感器数据。全局扫描即全面扫描。传感器数据为上述传感器采集到的数据。

实践中，扩展现实设备中的传感器可包括但不限于激光雷达、摄像头、IMU等。相应地，传感器数据可包括但不限于点云数据、图像数据、位姿数据等。示例性地，可通过激光雷达发射激光并接收反射信号，采集房屋的点云数据，该点云数据可反映出房屋中物体的深度信息；可通过摄像头采集房屋的图像数据，该图像数据可反映房屋中物体的视觉信息；可通过IMU记录扩展现实设备的运动姿态，以确保扫描的准确性。

步骤S22，基于传感器数据，生成三维点云模型。

具体地，三维点云模型是指通过传感器数据生成的包含大量点的坐标信息的模型，可用于表示空间中物体的位置和形状。示例性地，参见图4A所示。

实践中，可通过ORB-SLAM3(ORB-Simultaneous Localization and Mapping 3，基于ORB的即时定位与地图构建第三版)等建图算法对传感器数据进行处理，将激光雷达采集的点云数据与摄像头采集的图像数据进行融合，生成房屋的三维点云模型。其中，ORB(Oriented FAST and Rotated BRIEF)是一种高效的特征检测与描述算法。三维点云模型的误差可控制在3厘米以内，以确保模型的精度。

步骤S23，对三维点云模型进行语义分割，得到语义分割结果，语义分割结果中包括墙体、物联网设备和其余室内设施。

具体地，语义分割是指对三维点云模型中的每个点进行分类，识别出不同的物体类别。语义分割结果中可包括三维点云模型中的每个点的类别标签。示例性地，类别可包括墙体、物联网设备和其余室内设施。

实践中，可通过PointNet++等深度学习模型实现对三维点云模型的语义分割，识别出沙发、餐桌、空调等物体，并为每个物体的点云分配相应的类别标签。通过语义分割，能够自动识别房屋中的墙体、物联网设备和其余室内设施，无需人工标注，提高了建模的效率和准确性。

步骤S24，基于三维点云模型和上述语义分割结果，生成三维几何模型。

具体地，三维几何模型是一种通过数学和计算机技术构建的数字化三维对象表示，用于描述物体在三维空间中的形状、结构和属性。可首先基于语义分割结果，确定房屋中的各个物体的边界和特征。而后，利用物体的边界和特征，生成包含详细几何信息的三维几何模型。该模型不仅包含物体的位置信息，还包含其形状和尺寸，参见图4B所示。

通过结合建图算法和语义分割技术，能够构建高精度的全屋的三维模型，可为后续的用户交互提供准确的数据基础。

在一些可选的实施例中，在显示用户所在房屋的三维模型之前，还可以执行如下步骤，以在三维模型中绑定物联网设备：

步骤S31，获取各物联网设备的应用端数据。

应用端数据可包括但不限于物联网设备的房间信息、外观图、控制接口、设备信息等。以智能台灯为例，上述的房间信息可用于指示物联网设备所在的房间，可由用户手动编辑确认，例如，可以是卧室、客厅等。上述外观图可包括物联网设备处于不同状态时的外观图，例如，可以包括智能台灯开启状态的外观图、智能台灯关闭状态的外观图。控制接口可包括但不限于开关接口、色温调节接口、亮度调节接口、模式设置接口等。上述设备信息可包括但不限于定时任务信息、环境信息等。

步骤S32，基于各物联网设备的信号强度和房间信息，确定全屋各物联网设备在三维模型中的映射位置。

步骤S33，建立各物联网设备的映射位置与应用端数据的对应关系。

具体地，对于每个物联网设备，可首先获取该物联网设备的唯一信号特征，例如，MAC地址、信号强度曲线等。而后，将该唯一信号特征与该物联网设备在三维模型中的映射位置进行关联。由于唯一信号特征能够唯一标识该物联网设备，因此可实现三维模型中物联网设备与其应用端数据的关联。

通过将每个物联网设备的映射位置与其应用端数据进行关联，确保在三维模型中显示的设备位置能够准确反映其实际位置和状态，从而提高了对物联网设备控制的准确性。此外，通过建立上述对应关系，能够实时同步物联网设备的状态数据到三维模型中，使得扩展现实设备能够实时存储或显示最新的状态信息。

在一些可选的实施例中，还可以执行如下步骤：

步骤S41，实时获取各物联网设备的状态信息。

其中，状态信息用于指示物联网设备的当前运行状态，示例性地，可包括但不限于以下至少一项：温度、湿度、能耗、开关状态、传感器数据等。传感器数据可包括但不限于烟雾浓度、燃气泄漏检测结果等。

步骤S42，基于状态信息，检测各物联网设备是否异常。

具体地，可采用预设的规则或机器学习算法对采集到的状态信息进行分析，判断各物联网设备是否处于异常状态。例如，温度异常、能耗异常、传感器数据异常等。此外，也可以根据历史数据和实时数据动态评估设备的运行状态，识别异常情况。

步骤S43，在存在异常物联网设备的情况下，显示异常物联网设备的风险提示信息。

风险提示信息可用于提示用户物联网设备存在异常。风险提示信息可以包括视觉信息，可包括与异常物联网设备相关的警告信息，例如，红色闪烁图标、异常物联网设备的详细数据等，此处不作具体限定。此外，风险提示信息还可以包括音频信息，例如，提示音等。

通过实时监测全屋物联网设备的运行状态，能够及时发现异常情况并提醒用户，以便于用户快速响应并采取措施。这种精准的风险管理有助于预防设备故障和安全隐患，提高了用户所处房屋的安全性。

需要说明的是，本申请实施例提供的控制方法，执行主体可以为控制装置。本申请实施例中以控制装置执行控制方法为例，说明本申请实施例提供的控制装置。

如图5所示，本实施例的控制装置500包括：接收单元501，用于在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；第一确定单元502，用于响应于所述第一输入，确定所述三维模型中的目标墙体，并显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；第二确定单元503，用于在接收到用户的第二输入的情况下，确定所述至少一个物联网设备中的目标物联网设备，并向所述目标物联网设备发送控制指令。

在本实施例的一些可选的实现方式中，所述三维模型为三维几何模型；所述装置还包括生成单元，用于：通过所述扩展现实设备中的传感器对用户所在房屋进行全屋扫描，得到传感器数据；基于所述传感器数据，生成三维点云模型；对所述三维点云模型进行语义分割，得到语义分割结果，所述语义分割结果中包括墙体、物联网设备和其余室内设施；基于所述三维点云模型和所述语义分割结果，生成所述三维几何模型。通过结合建图算法和语义分割技术，能够构建高精度的全屋的三维模型，可为后续的用户交互提供准确的数据基础。

在本实施例的一些可选的实现方式中，所述装置还包括建立单元，用于：获取各物联网设备的应用端数据，所述应用端数据包括指示物联网设备所在房间的房间信息；基于各物联网设备的信号强度和房间信息，确定各物联网设备在所述三维模型中的映射位置；建立各物联网设备的映射位置与应用端数据的对应关系。通过将每个物联网设备的映射位置与其应用端数据进行关联，确保在三维模型中显示的设备位置能够准确反映其实际位置和状态，从而提高了对物联网设备控制的准确性。此外，通过建立所述对应关系，能够实时同步物联网设备的状态数据到三维模型中，使得扩展现实设备能够实时存储或显示最新的状态信息。

在本实施例的一些可选的实现方式中，所述第一确定单元502，还用于：对所述目标墙体进行弱化显示，以透视显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；其中，所述弱化显示包括以下至少一项：提高所述目标墙体的透明度、隐藏所述目标墙体、仅显示所述目标墙体的轮廓线；所述透视显示包括以下至少一项：在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的轮廓线、在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的视觉图像。通过弱化显示目标墙体并透视显示被其遮挡的物联网设备，用户可以直观看到被目标墙体遮挡的物联网设备，增强了空间感知能力。

在本实施例的一些可选的实现方式中，所述第二确定单元503，还用于：接收用户对所述三维模型中所述目标物联网设备的第三输入；响应于所述第三输入，显示所述目标物联网设备的虚拟控制面板；接收用户对所述虚拟控制面板的第四输入；响应于所述第四输入，生成控制指令，并向所述目标物联网设备发送控制指令。通过显示虚拟控制面板，用户可以直观地对物联网设备进行更为精细的操作，无需记忆复杂的操作流程，提高了对物联网设备控制的便捷性和准确性。

在本实施例的一些可选的实现方式中，所述第二确定单元503，还用于：通过消息队列遥测传输协议，向家庭网关发送对所述目标物联网设备的控制指令；通过所述家庭网关，将所述控制指令转发至所述目标物联网设备。通过消息队列遥测传输协议进行控制指令的传输，并通过家庭网关的集中管理，能够方便快捷地进行物联网设备的连接和控制指令的发送，提高了网络的稳定性和安全性。

在本实施例的一些可选的实现方式中，所述装置还包括提示单元，用于：实时获取各物联网设备的状态信息；基于所述状态信息，检测各物联网设备是否异常；在存在异常物联网设备的情况下，显示所述异常物联网设备的风险提示信息。通过实时监测全屋物联网设备的运行状态，能够及时发现异常情况并提醒用户，以便于用户快速响应并采取措施。这种精准的风险管理有助于预防设备故障和安全隐患，提高了用户所处房屋的安全性。

本申请的上述实施例提供的装置，在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；响应于第一输入，确定三维模型中的目标墙体，并显示三维模型中被所述目标墙体遮挡的至少一个物联网设备；在接收到用户的第二输入的情况下，确定至少一个物联网设备中的目标物联网设备，并向目标物联网设备发送控制指令。通过扩展现实设备对用户所在房屋的三维模型中被目标墙体遮挡的物联网设备进行可视化，用户无需移动到目标物联网设备所在房间，可直接在当前房间通过扩展现实设备完成对目标物联网设备的跨房间的可视化操控，降低了用户操作的复杂度，提高了对墙体遮挡的物联网设备的控制效率。

本申请实施例中的控制装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(MobileInternet Device，MID)、增强现实(Augmented Reality，AR)/虚拟现实(VirtualReality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(Ultra-Mobile PersonalComputer，UMPC)、上网本或者个人数字助理(Personal Digital Assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(PersonalComputer，PC)、电视机(Television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的控制装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为iOS操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。

本申请实施例提供的控制装置能够实现图1的方法实施例实现的各个过程，为避免重复，这里不再赘述。

可选地，如图6所示，本申请实施例还提供一种电子设备600，包括处理器601和存储器602，存储器602上存储有可在所述处理器601上运行的程序或指令，该程序或指令被处理器601执行时实现上述控制方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述的移动电子设备和非移动电子设备。

图7为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备700包括但不限于：射频单元701、网络模块702、音频输出单元703、输入单元704、传感器705、显示单元706、用户输入单元707、接口单元708、存储器709、以及处理器710等部件。

本领域技术人员可以理解，电子设备700还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器710逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图7中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器710，用于在通过显示单元706显示用户所在房屋的三维模型的情况下，通过用户输入单元707接收用户的第一输入；响应于所述第一输入，确定所述三维模型中的目标墙体，并显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；在通过用户输入单元707接收到用户的第二输入的情况下，确定所述至少一个物联网设备中的目标物联网设备，并向所述目标物联网设备发送控制指令。

通过扩展现实设备对用户所在房屋的三维模型中被目标墙体遮挡的物联网设备进行可视化，用户无需移动到目标物联网设备所在房间，可直接在当前房间通过扩展现实设备完成对目标物联网设备的跨房间的可视化操控，降低了用户操作的复杂度，提高了对墙体遮挡的物联网设备的控制效率。

在本实施例的一些可选的实现方式中，所述三维模型为三维几何模型；处理器710，还用于通过所述扩展现实设备中的传感器对用户所在房屋进行全屋扫描，得到传感器数据；基于所述传感器数据，生成三维点云模型；对所述三维点云模型进行语义分割，得到语义分割结果，所述语义分割结果中包括墙体、物联网设备和其余室内设施；基于所述三维点云模型和所述语义分割结果，生成所述三维几何模型。通过结合建图算法和语义分割技术，能够构建高精度的全屋的三维模型，可为后续的用户交互提供准确的数据基础。

在本实施例的一些可选的实现方式中，处理器710，还用于获取各物联网设备的应用端数据，所述应用端数据包括指示物联网设备所在房间的房间信息；基于各物联网设备的信号强度和房间信息，确定各物联网设备在所述三维模型中的映射位置；建立各物联网设备的映射位置与应用端数据的对应关系。通过将每个物联网设备的映射位置与其应用端数据进行关联，确保在三维模型中显示的设备位置能够准确反映其实际位置和状态，从而提高了对物联网设备控制的准确性。此外，通过建立所述对应关系，能够实时同步物联网设备的状态数据到三维模型中，使得扩展现实设备能够实时存储或显示最新的状态信息。

在本实施例的一些可选的实现方式中，处理器710，还用于通过显示单元706对所述目标墙体进行弱化显示，以透视显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；其中，所述弱化显示包括以下至少一项：提高所述目标墙体的透明度、隐藏所述目标墙体、仅显示所述目标墙体的轮廓线；所述透视显示包括以下至少一项：在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的轮廓线、在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的视觉图像。通过弱化显示目标墙体并透视显示被其遮挡的物联网设备，用户可以直观看到被目标墙体遮挡的物联网设备，增强了空间感知能力。

在本实施例的一些可选的实现方式中，处理器710，还用于通过用户输入单元707接收用户对所述三维模型中所述目标物联网设备的第三输入；响应于所述第三输入，通过显示单元706显示所述目标物联网设备的虚拟控制面板；通过用户输入单元707接收用户对所述虚拟控制面板的第四输入；响应于所述第四输入，生成控制指令，并向所述目标物联网设备发送控制指令。通过显示虚拟控制面板，用户可以直观地对物联网设备进行更为精细的操作，无需记忆复杂的操作流程，提高了对物联网设备控制的便捷性和准确性。

在本实施例的一些可选的实现方式中，处理器710，还用于通过消息队列遥测传输协议，向家庭网关发送对所述目标物联网设备的控制指令；通过所述家庭网关，将所述控制指令转发至所述目标物联网设备。通过消息队列遥测传输协议进行控制指令的传输，并通过家庭网关的集中管理，能够方便快捷地进行物联网设备的连接和控制指令的发送，提高了网络的稳定性和安全性。

在本实施例的一些可选的实现方式中，处理器710，还用于实时获取各物联网设备的状态信息；基于所述状态信息，检测各物联网设备是否异常；在存在异常物联网设备的情况下，通过显示单元706显示所述异常物联网设备的风险提示信息。通过实时监测全屋物联网设备的运行状态，能够及时发现异常情况并提醒用户，以便于用户快速响应并采取措施。这种精准的风险管理有助于预防设备故障和安全隐患，提高了用户所处房屋的安全性。

应理解的是，本申请实施例中，输入单元704可以包括图形处理器(GraphicsProcessing Unit，GPU)7041和麦克风7042，图形处理器7041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元706可包括显示面板7061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板7061。用户输入单元707包括触控面板7071以及其他输入设备7072中的至少一种。触控面板7071，也称为触摸屏。触控面板7071可包括触摸检测装置和触摸控制器两个部分。其他输入设备7072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器709可用于存储软件程序以及各种数据。存储器709可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器709可以包括易失性存储器或非易失性存储器，或者，存储器709可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器709包括但不限于这些和任意其它适合类型的存储器。

处理器710可包括一个或多个处理单元；可选的，处理器710集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器710中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述控制方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种控制方法，其特征在于，应用于扩展现实设备，所述方法包括：

在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；

响应于所述第一输入，确定所述三维模型中的目标墙体，并显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；

在接收到用户的第二输入的情况下，确定所述至少一个物联网设备中的目标物联网设备，并向所述目标物联网设备发送控制指令。

2.根据权利要求1所述的方法，其特征在于，所述三维模型为三维几何模型；在显示用户所在房屋的三维模型之前，所述方法还包括：

通过所述扩展现实设备中的传感器对用户所在房屋进行全局扫描，得到传感器数据；

基于所述传感器数据，生成三维点云模型；

对所述三维点云模型进行语义分割，得到语义分割结果，所述语义分割结果中包括墙体、物联网设备和其余室内设施；

基于所述三维点云模型和所述语义分割结果，生成所述三维几何模型。

3.根据权利要求1所述的方法，其特征在于，在显示用户所在房屋的三维模型之前，所述方法还包括：

获取各物联网设备的应用端数据，所述应用端数据包括指示物联网设备所在房间的房间信息；

基于各物联网设备的信号强度和所述房间信息，确定各物联网设备在所述三维模型中的映射位置；

建立各物联网设备的映射位置与应用端数据的对应关系。

4.根据权利要求1所述的方法，其特征在于，所述显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备，包括：

对所述目标墙体进行弱化显示，以透视显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；

其中，所述弱化显示包括以下至少一项：提高所述目标墙体的透明度、隐藏所述目标墙体、仅显示所述目标墙体的轮廓线；

所述透视显示包括以下至少一项：在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的轮廓线、在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的视觉图像。

5.根据权利要求1所述的方法，其特征在于，所述向所述目标物联网设备发送控制指令，包括：

接收用户对所述三维模型中所述目标物联网设备的第三输入；

响应于所述第三输入，显示所述目标物联网设备的虚拟控制面板；

接收用户对所述虚拟控制面板的第四输入；

响应于所述第四输入，生成控制指令，并向所述目标物联网设备发送控制指令。

6.一种控制装置，其特征在于，应用于扩展现实设备，所述装置包括：

接收单元，用于在显示用户所在房屋的三维模型的情况下，接收用户的第一输入；

第一确定单元，用于响应于所述第一输入，确定所述三维模型中的目标墙体，并显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；

第二确定单元，用于在接收到用户的第二输入的情况下，确定所述至少一个物联网设备中的目标物联网设备，并向所述目标物联网设备发送控制指令。

7.根据权利要求6所述的装置，其特征在于，所述三维模型为三维几何模型；所述装置还包括生成单元，用于：

通过所述扩展现实设备中的传感器对用户所在房屋进行全屋扫描，得到传感器数据；

基于所述传感器数据，生成三维点云模型；

对所述三维点云模型进行语义分割，得到语义分割结果，所述语义分割结果中包括墙体、物联网设备和其余室内设施；

基于所述三维点云模型和所述语义分割结果，生成所述三维几何模型。

8.根据权利要求6所述的装置，其特征在于，所述装置还包括建立单元，用于：

获取各物联网设备的应用端数据，所述应用端数据包括指示物联网设备所在房间的房间信息；

基于各物联网设备的信号强度和所述房间信息，确定各物联网设备在所述三维模型中的映射位置；

建立各物联网设备的映射位置与应用端数据的对应关系。

9.根据权利要求6所述的装置，其特征在于，所述第一确定单元，还用于：

对所述目标墙体进行弱化显示，以透视显示所述三维模型中被所述目标墙体遮挡的至少一个物联网设备；

其中，所述弱化显示包括以下至少一项：提高所述目标墙体的透明度、隐藏所述目标墙体、仅显示所述目标墙体的轮廓线；

所述透视显示包括以下至少一项：在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的轮廓线、在所述目标墙体所在区域显示被目标墙体遮挡的至少一个物联网设备的视觉图像。

10.根据权利要求6所述的装置，其特征在于，所述第二确定单元，还用于：

接收用户对所述三维模型中所述目标物联网设备的第三输入；

响应于所述第三输入，显示所述目标物联网设备的虚拟控制面板；

接收用户对所述虚拟控制面板的第四输入；

响应于所述第四输入，生成控制指令，并向所述目标物联网设备发送控制指令。

11.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-5中任一项所述的控制方法的步骤。

12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-5中任一项所述的控制方法的步骤。