CN120034819A - 定位模型性能信息的获取方法、装置及网络侧设备 - Google Patents

Abstract

本申请公开了一种定位模型性能信息的获取方法、装置及网络侧设备，属于无线通信技术领域，本申请实施例的定位模型性能信息的获取方法包括：第一网元向至少一个第一接入网设备发送定位消息，定位消息用于请求报告以下之一：使用目标定位模型进行推理产生的AI测量信息、AI测量信息和真实测量信息、AI测量信息与真实测量信息之间的差异信息；第一网元接收至少一个第一接入网设备发送的定位结果消息，位结果消息中携带有目标定位测量信息，目标定位测量信息包括以下之一：AI测量信息、AI测量信息和真实测量信息、AI测量信息与真实测量信息之间的差异信息；第一网元基于目标定位测量信息，获取目标定位模型的第一定位性能监测信息。

Description

定位模型性能信息的获取方法、装置及网络侧设备

技术领域

本申请属于无线通信技术领域，具体涉及一种定位模型性能信息的获取方法、装置及网络侧设备。

背景技术

人工智能(Artificial Intelligence，AI)定位旨在使用AI定位模型对测量信息进行预测，从而给出目标的位置估计，从而可以节省大量测量资源并降低计算功耗。

在相关技术中，AI定位模型可以设置在接入网设备中，用于进行模型推理，从而得到AI测量信息，将AI测量信息上报给定位控制功能网元，例如，位置管理功能(LocationManagement Function，LMF)，定位控制功能网元可以基于接收到的AI测量信息进行位置估计。

然而，在实际应用中，AI定位模型的性能未知，从而导致无法确定使用AI定位模型推理得到的AI测量信息进行位置估计得到的估计结果的准确度和精度，进而无法获知获取的估计结果是否准确。

发明内容

本申请实施例提供一种定位模型性能信息的获取方法、装置及网络侧设备，能够解决由于AI定位模型的性能未知而导致无法确定使用AI定位模型推理得到的AI测量信息进行位置估计得到的估计结果的准确度和精度的问题。

第一方面，提供了一种定位模型性能信息的获取方法，包括：第一网元向至少一个第一接入网设备发送定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；所述第一网元接收所述至少一个第一接入网设备发送的定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；所述第一网元基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。

第二方面，提供了一种定位模型的定位监测信息发送方法，包括：第一接入网设备接收第一网元发送的定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；所述第一接入网设备获取真实测量信息和使用所述目标定位模型推理出的AI测量信息；所述第一接入网设备基于所述真实测量信息和所述AI测量信息，向所述第一网元发送定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

第三方面，提供了一种定位模型性能信息的获取装置，包括：第一发送模块，用于向至少一个第一接入点第一接入网设备发送定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；第一接收模块，用于接收所述至少一个第一接入网设备发送的定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；第一获取模块，用于基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。

第四方面，提供了一种定位模型的定位监测信息发送装置，包括：第二接收模块，用于接收第一网元发送的定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；第二获取模块，用于获取真实测量信息和使用所述目标定位模型推理出的AI测量信息；第二发送模块，用于基于所述真实测量信息和所述AI测量信息，向所述第一网元发送定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

第五方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

第六方面，提供了一种网络侧设备，包括处理器及通信接口，其中，所述处理器用于用于实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，所述通信接口用于与所述处理器耦合。

第七方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤。

第八方面，提供了一种通信系统，包括：第一网元及接入网设备，所述第一网元可用于执行如第一方面所述的方法的步骤，所述接入网设备可用于执行如第二方面所述的方法的步骤。

第九方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法，或实现如第二方面所述的方法。

第十方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法，或实现如第二方面所述的方法。

在本申请实施例中，第一网元向至少一个第一接入网设备发送定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；所述第一网元接收所述至少一个第一接入网设备发送的定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；所述第一网元基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。从而使得第一网元可以基于第一接入网设备报告的目标定位测量信息，对目标定位模型的定位性能进行监测，解决了由于AI定位模型的性能未知而导致无法确定使用AI定位模型推理得到的AI测量信息进行位置估计得到的估计结果的准确度和精度的问题。

附图说明

图1示出本申请实施例可应用的一种无线通信系统的框图；

图2示出本申请实施例中AI定位模型的一种布局示意图；

图3示出本申请实施例提供的定位模型性能信息的获取方法的一种流程示意图；

图4示出本申请实施例提供的定位模型的定位监测信息发送的一种流程示意图；

图5示出本申请实施例提供的定位模型性能信息的获取方法的另一种流程示意图；

图6示出本申请实施例提供的定位模型性能信息的获取方法的又一种流程示意图；

图7示出本申请实施例提供的定位模型性能信息的获取装置的一种结构示意图；

图8示出本申请实施例提供的定位模型的定位监测信息装置的一种结构示意图；

图9示出本申请实施例提供的一种通信设备的结构示意图；

图10示出本申请实施例提供的一种网络侧设备的硬件结构示意图；

图11示出本申请实施例提供的另一种网络侧设备的硬件结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。

本申请的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，本申请中的“或”表示所连接对象的至少其中之一。例如“A或B”涵盖三种方案，即，方案一：包括A且不包括B；方案二：包括B且不包括A；方案三：既包括A又包括B。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请的术语“指示”既可以是一个直接的指示(或者说显式的指示)，也可以是一个间接的指示(或者说隐含的指示)。其中，直接的指示可以理解为，发送方在发送的指示中明确告知了接收方具体的信息、需要执行的操作或请求结果等内容；间接的指示可以理解为，接收方根据发送方发送的指示确定对应的信息，或者进行判断并根据判断结果确定需要执行的操作或请求结果等。

值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long TermEvolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time DivisionMultiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency-Division Multiple Access，SC-FDMA)或其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了新空口(New Radio，NR)系统，并且在以下大部分描述中使用NR术语，但是这些技术也可应用于NR系统以外的系统，如第6代(6^th Generation，6G)通信系统。

图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)、笔记本电脑、个人数字助理(Personal DigitalAssistant，PDA)、掌上电脑、上网本、超级移动个人计算机(Ultra-mobile PersonalComputer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(AugmentedReality，AR)、虚拟现实(Virtual Reality，VR)设备、机器人、可穿戴式设备(WearableDevice)、飞行器(flight vehicle)、车载设备(Vehicle User Equipment，VUE)、船载设备、行人终端(Pedestrian User Equipment，PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(Personal Computer，PC)、柜员机或者自助机等终端侧设备。可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。其中，车载设备也可以称为车载终端、车载控制器、车载模块、车载部件、车载芯片或车载单元等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备也可以称为无线接入网(RadioAccess Network,RAN)设备、无线接入网功能或无线接入网单元。接入网设备可以包括基站、无线局域网(Wireless Local Area Network，WLAN)接入点(Access Point，AS)或无线保真(Wireless Fidelity，WiFi)节点等。其中，基站可被称为节点B(Node B，NB)、演进节点B(Evolved Node B，eNB)、下一代节点B(the next generation Node B，gNB)、新空口节点B(New Radio Node B，NR Node B)、接入点、中继站(Relay Base Station，RBS)、服务基站(Serving Base Station，SBS)、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended ServiceSet，ESS)、家用B节点(home Node B，HNB)、家用演进型B节点(home evolved Node B)、发送接收点(Transmission Reception Point，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以NR系统中的基站为例进行介绍，并不限定基站的具体类型。

核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、移动管理实体(Mobility Management Entity，MME)、接入移动管理功能(Access and MobilityManagement Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policy and Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge Application Server Discovery Function，EASDF)、统一数据管理(UnifiedData Management，UDM)、统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home Subscriber Server，HSS)、集中式网络配置(Centralized networkconfiguration，CNC)、网络存储功能(Network Repository Function，NRF)、网络开放功能(Network Exposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)、位置管理功能(Location Management Function，LMF)、网关的移动位置中心(Gateway Mobile LocationCentre，GMLC)、网络数据分析功能(Network Data Analytics Function，NWDAF)等。需要说明的是，在本申请实施例中仅以NR系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。

在相关技术中，如图2所示，AI定位模型设置在基站，UE发送测量反馈(例如，探测参考信号(Sounding Reference Signal，SRS)给基站，基站使用AI定位模型计算出AI测量信息，之后将AI测量信息发送给LMF实现位置计算。

然而，AI定位模型在实际使用时的模型准确度可能并不高，定位精度也可能较差，而AI定位模型的性能未知，从而导致无法确定使用AI定位模型推理得到的AI测量信息进行位置估计得到的估计结果的准确度和精度，进而无法获知获取的估计结果是否准确。

针对该问题，本申请实施例提供了一种定位模型性能信息的获取方法、装置及网络侧设备，可以由触发者触发网络对特定AI模型进行定位精度和模型准确度等信息的监测，在满足条汇报条件的情况下，可以将AI模型性能结果信息报告给触发者。

下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的技术方案进行详细地说明。

图3示出本申请实施例中的定位模型性能信息的获取方法的一种流程示意图，该方法300可以由第一网元执行。换言之，所述方法可以由安装在通信设备上的软件或硬件来执行。在本申请实施例中，第一网元可以为定位控制功能网元，例如，位置管理功能(Location Management Function，LMF)。

如图3所示，该方法可以包括以下步骤。

S310，第一网元向至少一个第一接入网设备发送定位消息。

在本申请实施例中，定位消息用于请求报告以下之一：

(1)使用所述目标定位模型进行推理产生的AI测量信息；第一网元可以通过定准消息，请求至少一个第一接入网设备上报使用目标定位模型进行推理产生的AI测量信息，第一接入网设备在接收到该定位消息之后，可以使用目标定位模型进行推理，从而获取AI测量信。

(2)所述AI测量信息和真实测量信息；第一网元可以通过定准消息，请求至少一个第一接入网设备上报使用目标定位模型进行推理产生的AI测量信息以及真实测量信息，第一接入网设备在接收到该定位消息之后，可以使用目标定位模型进行推理，从而获取AI测量信息，并采用非AI的方式，例如，通过对定位参考信号进行测量，获取真实测量信息。

(3)所述AI测量信息与真实测量信息之间的差异信息。第一网元可以通过定准消息，请求至少一个第一接入网设备上报使用目标定位模型进行推理产生的AI测量信息与及真实测量信息之间的差异信息，第一接入网设备在接收到该定位消息之后，可以使用目标定位模型进行推理，从而获取AI测量信息，并采用非AI的方式，例如，通过对定位参考信号进行测量，获取真实测量信息，然后再通过比较，获取所述AI测量信息与所述真实测量信息之间的差异信息。

可选的，上述定位消息中可以携带有以下至少一项：

(1)目标定位模型的标识信息；该标识信息用于指示待监测的目标定位模型，其中，待监测的目标定位模型可以为一个，也可以为多个，具体本申请实施例中不作限定。

(2)第一指示信息，用于指示第一接入网设备使用所述目标定位模型推理出的AI测量信息进行定位；第一指示信息还可以指示第一接入网设备上报第一接入网设备使用目标定位模型推理出的AI测量信息。例如，第一指示信息可以为AI定位指示(AI positioningind)。

(3)第二指示信息，用于指示所述第一网元将对所述目标定位模型进行性能监测。第二指示信息指示第一网元将对目标定位模型进行性能监测，第一接入网设备根据第二指示信息，可以确定需要上报上述AI测量信息、上述AI测量信息和真实测量信息、上述AI测量信息与真实测量信息之间的差异信息。例如，第二指示信息可以为监测指示(Monitoringind)。

在一个可选的实现方式中，第一网元可以是在目标设备的触发下，向至少一个第一接入网设备。因此，在该可选的实现方式中，在S310之前，该方法还可以包括：所述第一网元接收目标设备发送的定位性能监测消息，其中，所述定位性能监测消息用于请求对所述目标定位模型进行性能测量，所述定位性能监测消息中携带有所述目标定位模型的标识信息；所述目标设备包括以下之一：所述第一接入网设备、第二接入网设备、第二网元。也就是说，在该可选的实现方式中，第一网元可以在第一接入网设备、第二接入网设备或第二网元的触发下，进行目标定位模型的性能监测。

例如，第一接入网设备可以自己训练生成上述目标定位模型，然后请求第一网元对该目标定位模型的性能进行监测，或者，第二接入网设备可以自己训练生成上述目标定位模型，并发送给第一接入网设备使用，并且，第二接入网设备可以请求第一网元对该目标定位模型的性能进行监测，或者，第二网元训练生成上述目标定位模型，并发送给第一接入网设备使用，并且，第二网元可以请求第一网元对该目标定位模型的性能进行监测。

或者，也可以是第一网元自己触发对目标定位模型进行性能监测。例如，第一网元训练生成上述目标定位模型，并将上述目标定位模型发送给至少一个第一接入网设备使用。为了获取目标定位模型的定位性能，第一接入网设备可以触发对目标定位模型进行性能监测，例如，执行上述S310。

在上述实现方式中，第二网元可以为网络数据分析功能(Network DataAnalytics Function，NWDAF)，也可以是其它训练目标定位模型的网元，具体本申请实施例中不作限定。

在上述实现方式中，所述定位性能监测消息中携带的所述目标定位模型的标识信息可以为目标定位模型的标识，即Model ID，也可以为目标定位模型的功能标识(functionality ID)，或者，目标定位模型的分析标识(analytics ID)。

在一个可选的实现方式中，上述定位性能监测消息中还可以携带有以下至少一项：

(1)所述目标设备的标识信息；例如，第一接入网设备的标识信息、第二接入网设备的标识信息或第二网元的标识信息，用于指示发送定位性能监测消息的目标设备的身份信息。例如，如果为接入网设备(包括第一接入网设备和第二接入网设备)，该标识信息可以为接入网设备的标识，例如，小区全球标识(cell global identity，CGI)，或者，该标识信息也可以为接入网设备(包括第一接入网设备和第二接入网设备)的操作管理维护(Operation Administration and Maintenance，OAM)标识。

(2)监测时间段信息(monitoring period)，用于指示对所述目标定位模型进行性能监测的时间；通过监测时间段信息可以指示监测模型性能的时间，例如，未来一天，未来一个月等。可选的，监测时间段信息可以包括：监测开始时间、监测结束时间、监测重复模式、监测重复开始时间和检测重复结束时间等中的至少一项

(3)第一阈值(notify threshold)，用于指示在所述第一定位性能监测信息对应的性能参数达到所述第一阈值的情况下，通知所述目标设备。第一阈值可以表征在性能参数达到某个条件的情况下，将目标定位模型的定位性能监测信息上报给目标设备。例如，如果是定时报告，则第一阈值可以包括：汇报开始时间、汇报间隔时间、汇报次数中的一项或多项。如果是条件报告，则第一阈值可以定位精度阈值、模型准确度阈值中的至少一个。

在上述可选的实现方式中，定位性能监测消息可以用于请求一次目标定位模型的性能监测数据，也可以请求多次目标定位模型的性能监测数据。例如，定位性能监测消息可以为模型性能监测请求消息，针对该请求消息，第一网元可以回复一次目标定位模型的性能监测数据。或者，定位性能监测消息也可以为模型性能监测签约消息，针对该签约消息，第一网元可能需要回复多次目标定位模型的性能监测数据，例如，在每次目标定位模型的性能监测数据发生变化时向目标设备回复一次目标定位模型的性能监测数据，或者，按照一定周期，周期性的向目标设备回复目标定位模型的性能监测数据。

在上述可选的实现方式中，可选的，在所述第一网元接收目标设备发送的定位性能监测消息之后，所述方法还可以包括：所述第一网元向所述目标设备发送定位性能监测响应消息，其中，所述定位性能监测响应消息中携带有所述目标定位模型的标识信息。通过该定位性能监测响应，可以通知目标设备第一网元已接收到上述定位性能监测消息。

在一个可选的实现方式中，第一网元在接收上述定位性能监测消息之后，在所述第一网元已获知所述目标定位模型的第二定位性能监测信息、且已获知的所述第二定位性能监测信息满足第二阈值的情况下，则所述定位性能监测响应消息中还可以携带有所述第二定位性能监测信息对应的性能指标，例如，定位精度信息和模型准确度信息等。其中，第二阈值可以与第一阈值相同，例如，在第一阈值为定位精度阈值或模型准确度阈值的情况下，第二阈值可以为第一阈值，或者，第二阈值也可以与第一阈值不相同，例如，在第一阈值包括汇报开始时间、汇报间隔时间、汇报次数中的一项或多项的情况下，第二阈值与第一阈值不相同，例如，第二阈值可以预设值或网络侧设备指示的值等。通过该可选的实现方式中，如果第一网元已经完成对目标定位模型的性能监测，并且性能满足要求(例如，定位性能监测消息中携带有第一阈值，且第一阈值为定位精度阈值或模型准确度阈值的情况下)，第一网元可以直接在响应消息中将第二定位性能监测信息对应的性能指标告知目标设备，这样就不需要再次发起性能监测流程，从而节约流程。

在上述可选的实现方式中，所述定位性能监测响应消息中还可以携带有以下至少一项：

(1)第四指示信息，用于指示以下之一：接受对所述目标定位模型进行性能监测、拒绝对所述目标定位模型进行性能监测；例如，在第一网元已经完成对目标定位模型的性能监测，并且监测得到的第二定位性能监测信息对应的性能指标不满足要求(例如，已获取的第二定位性能监测信息对应的性能指标不满足第二阈值)，定位性能监测响应消息中携带的第四指示信息可以指示拒绝对目标定位模型进行性能监测。

(2)原因值，用于指示拒绝对所述目标定位模型进行性能监测的原因。例如，拒绝对所述目标定位模型进行性能监测的原因包括以下至少一项：网络拥塞；所述第一网元的负载大于阈值；所述目标定位模型的模型性能不满足要求；正在对所述目标定位模型进行定位性能监测。

目标设备在接收到定位性能监测响应消息之后，可以获知第一网元是否接受对所述目标定位模型进行性能监测，如果不接受，还可以进一步获知拒绝的原因。

在一个可选的实现方式中，第一网元可以在接收到上述定位性能监测消息之后，执行上述S310，然后执行下面的S312和S314，获取目标定位模型的第一定位性能监测信息，然后向目标设备发送定位性能监测通知消息，该定位性能监测通知消息中携带有所述目标定位模型的标识信息和所述第一定位性能监测信息对应的性能指标，例如，第一定位性能监测信息对应的定位精度信息和模型准确度信息中的至少之一。从而使得目标设备可以获知目标定位模型的性能指标，进一步可以基于该性能指标确定是否使用目标定位模型进行推理。

S312，所述第一网元接收所述至少一个第一接入网设备发送的定位结果消息。

其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

第一接入网设备在接收到上述定位消息之后，可以向第一网元发送定位结果消息，通过定位结果消息向第一网元上报所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息中的至少一项。

在一个可选的实现方式中，所述定位结果消息中还可以携带有以下信息：

(1)所述目标定位模型的标识信息；通过该目标定位模型的标识信息，可以指示第一网元，目标定位测量信息关联的目标定位模型。

(2)第三指示信息，用于指示所述定位结果消息中携带有所述目标定位测量信息。通过第三指示信息，可以指示定位结果消息中携带有与使用目标定位模型推理的AI测量信息相关的信息。例如，第三指示信息可以为AI信息指示(AI info ind)。

可选的，所述定位结果消息中还可以携带有第一时间戳信息，用于指示使用所述目标定位模型推理出所述AI测量信息的时间。通过第一时间戳信息在后续步骤中可以找到对应的AI测量信息和常规测量信息的，方便进行性能比对的。

S314，所述第一网元基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。

在一个可选的实现方式中，在所述目标定位测量信息包括所述AI测量信息和所述真实测量信息的情况下，在S314中，所述第一网元可以对比所述AI测量信息与所述真实测量信息之间的差异，然后基于所述AI测量信息与所述真实测量信息之间的差异，获取所述目标定位模型的第一定位性能监测信息。例如，在第一接入网设备的数量为多个的情况下，第一网元可以基于每个第一接入网设备上报的所述AI测量信息与所述真实测量信息，得到每个第一接入网设备对应的AI测量信息与真实测量信息之间的差异，然后基于预定算法对各个第一接入网设备对应的所述差异进行计算，从而得到所述第一定位性能监测信息，其中，预定算法可以为求方差、均方误差(MSE)、平均绝对误差(MAE)等，具体算法本申请实施例中不作限定。

在一个可选的实现方式中，在所述目标定位测量信息包括所述差异信息的情况下，在S314中，所述第一网元可以直接基于所述差异信息，获取所述目标定位模型的第一定位性能监测信息。

在一个可选的实现方式中，在所述目标定位测量信息包括所述AI测量信息的情况下，在S314中，所述第一网元可以获取终端位置信息，其中，所述终端位置信息包括：终端位置估算和第二时间戳信息；然后再基于所述AI测量信息，获取模型位置估算；最后基于所述终端位置估算与所述模型位置估算之间的差异，获取所述目标定位模型的第一定位性能监测信息。

在上述可选的实现方式中，第一网元可以从UE获取所述终端位置信息，或者，第一网元也可以是通过计算得到的终端位置信息，例如，根据真实测量信息获取的终端位置信息，或者，也可以是第一网元基于同一时间的另一个定位任务(该定位任务使用了非AI的定位方法)或者在该时间段发起的一个新的定位任务从而获取的终端位置信息，具体本申请实施例中不作限定。

在上述可选的实现方式中，第一网元可以基于获取的终端位置信息中的第二时间戳信息与使用目标定位模型推理得到所述AI测量信息的时间信息进行匹配，使用同一时间的得到的AI测量信息进行位置估计，得到模型位置估算，将该模型位置估算与终端位置信息中的终端位置估算进行比较，得到两个位置估计之间的差异。

在一个可选的实现方式中，第一网元可以向上述目标设备回复模型性能检测回复消息或模型性能检测通知消息，消息中可以携带以下至少一项模型性能信息：

·模型标识信息，model ID；

·性能(performance)关键绩效指标(Key Performance Indicators，KPI)，用于表征目标定位模型推理的性能参数，例如，可以包括定位精度信息，模型准确度信息等。

在上述实现方式中，可选地，第一网元可以在满足本地汇报策略或者上述的第一阈值的条件的情况下，将模型性能信息发送给上述目标设备。

例如，第一网元可以将模型性能信息发送给第一接入网设备，第一接入网设备可以将模型性能监测信息发送给模型训练方(例如，LMF或者NWDAF)。

通过本申请实施例提供的上述技术方案，第一网元向至少一个第一接入网设备发送定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；所述第一网元接收所述至少一个第一接入网设备发送的定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；所述第一网元基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。从而使得第一网元可以基于第一接入网设备报告的目标定位测量信息，对目标定位模型的定位性能进行监测，解决了由于AI定位模型的性能未知而导致无法确定使用AI定位模型推理得到的AI测量信息进行位置估计得到的估计结果的准确度和精度的问题。

基于同一技术构思，本申请实施例还提供了一种定位模型的定位监测信息发送方法。

图4示出本申请实施例提供的定位模型的定位监测信息发送方法的一种流程示意图，该方法400可以由上述第一接入网设备执行，如图4所示，该方法主要包括以下步骤。

S410，第一接入网设备接收第一网元发送的定位消息。

在本申请实施例中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

其中，该定位消息与方法300中的定位消息相同，第一网元可以按照上述方法300中的相关描述，向第一接入网设备发送该定位消息，具体可以参考方法300中的相关描述。

在一个可选的实现方式中，在S410之前，该方法还可以包括：第一接入网设备向第一网元发送定位性能监测消息，其中，所述定位性能监测消息用于请求对所述目标定位模型进行性能测量，所述定位性能监测消息中携带有所述目标定位模型的标识信息。在该可选的实现方式中，第一接入网设备可以触发第一网元对目标定位模型进行性能监测，例如，第一接入网设备可以在接收到网络侧设备分发的目标定位模型之后，或者，第一接入网设备可以在自己训练好生成目标定位模型之后，触发第一网元对目标定位模型进行性能监测，以确定目标定位模型的定位性能。

在上述可选的实现方式中，可选地，上述定位性能监测消息中还可以携带有以下至少一项：

(1)所述第一接入网设备的标识信息；例如，该标识信息可以为第一接入网设备的标识(ID)，例如，小区全球标识(cell global identity，CGI)，或者，该标识信息也可以为第一接入网设备(包括第一接入网设备和第二接入网设备)的操作管理维护(OperationAdministration and Maintenance，OAM)标识。

(2)监测时间段信息(monitoring period)，用于指示对所述目标定位模型进行性能监测的时间；通过监测时间段信息可以指示监测模型性能的时间，例如，未来一天，未来一个月等。可选的，监测时间段信息可以包括：监测开始时间、监测结束时间、监测重复模式、监测重复开始时间和检测重复结束时间等中的至少一项

(3)第一阈值(notify threshold)，用于指示在所述第一定位性能监测信息对应的性能参数达到所述第一阈值的情况下，通知所述目标设备。第一阈值可以表征在性能参数达到某个条件的情况下，将目标定位模型的定位性能监测信息上报给目标设备。例如，如果是定时报告，则第一阈值可以包括：汇报开始时间、汇报间隔时间、汇报次数中的一项或多项。如果是条件报告，则第一阈值可以定位精度阈值、模型准确度阈值中的至少一个。

在上述可选的实现方式中，定位性能监测消息可以用于请求一次目标定位模型的性能监测数据，也可以请求多次目标定位模型的性能监测数据。例如，定位性能监测消息可以为模型性能监测请求消息，针对该请求消息，第一接入网设备可以接收到第一网元回复的一次目标定位模型的性能监测数据。或者，定位性能监测消息也可以为模型性能监测签约消息，针对该签约消息，第一接入网设备可以接收到第一网元回复的多次目标定位模型的性能监测数据，例如，在每次目标定位模型的性能监测数据发生变化时，第一网元可以向第一接入网设备回复一次目标定位模型的性能监测数据，或者，按照一定周期，周期性的向第一接入网设备回复目标定位模型的性能监测数据。

在一个可选的实现方式中，在第一接入网设备向第一网元发送定位性能监测消息之后，该方法还可以包括：第一接入网设备接收所述第一网元发送的定位性能监测响应消息，其中，所述定位性能监测响应消息中携带有所述目标定位模型的标识信息。通过该定位性能监测响应，可以第一接入网设备可以获知第一网元已接收到上述定位性能监测消息。

可选地，所述定位性能监测响应消息中还可以携带有所述第二定位性能监测信息对应的性能指标，例如，定位精度信息和模型准确度信息等。通过该可选的实现方式中，如果第一网元已经完成对目标定位模型的性能监测，并且性能满足要求(例如，已获取的第二定位性能监测信息对应的性能指标满足第二阈值)，第一网元可以直接在响应消息中将第二定位性能监测信息对应的性能指标告知目标设备，这样就不需要再次发起性能监测流程，从而节约流程。

在上述可选的实现方式中，所述定位性能监测响应消息中还可以携带有以下至少一项：

(1)第四指示信息，用于指示以下之一：接受对所述目标定位模型进行性能监测、拒绝对所述目标定位模型进行性能监测；例如，在第一网元已经完成对目标定位模型的性能监测，并且性能不满足要求(例如，已获取的第二定位性能监测信息对应的性能指不满足第二阈值)，定位性能监测响应消息中携带的第四指示信息可以指示拒绝对目标定位模型进行性能监测。

(2)原因值，用于指示拒绝对所述目标定位模型进行性能监测的原因。例如，拒绝对所述目标定位模型进行性能监测的原因包括以下至少一项：网络拥塞；所述第一网元的负载大于阈值；所述目标定位模型的模型性能不满足要求；正在对所述目标定位模型进行定位性能监测。

第一接入网设备在接收到定位性能监测响应消息之后，可以获知第一网元是否接受对所述目标定位模型进行性能监测，如果不接受，还可以进一步获知拒绝的原因。

在一个可选的实现方式中，所述定位消息中可以携带有以下至少一项：

(1)所述目标定位模型的标识信息；

(2)第一指示信息，用于指示第一接入网设备使用所述目标定位模型推理出的AI测量信息进行定位；

(3)第二指示信息，用于指示所述第一网元将对所述目标定位模型进行性能监测。

通过该定位消息，第一接入网设备可以获知第一网元将对目标定位模型进行性能监测，或者，第一网元需要获取的信息。

在具体应用中，上述定位消息可以为新无线电定位协议a(NRPPa)定位消息。

S412，第一接入网设备获取真实测量信息和使用目标定位模型推理出的AI测量信息。

第一接入网设备在接收到上述定位消息之后，获知需要上报使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息中的至少一项，因此，第一接入网设备可以使用目标定位模型进行推理，得到所述AI测量信息，另外，第一接入网设备还可以使用常规定位测量，例如，对定位参考信号的测量，获取所述真实测量信息。

S414，第一接入网设备基于所述真实测量信息和所述AI测量信息，向所述第一网元发送定位结果消息。

在本申请实施例中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

第一接入网设备向第一网元发送携带有目标定位测量信息的定位结果消息，从而使得第一网元可以基于目标定位测量信息，获取目标定位模型的定位性能监测信息，实现对目标定位模型的定位性能的监测。

在一个可选的实现方式中，所述定位结果消息中携带可以有以下信息：

(1)所述目标定位模型的标识信息；

(2)第三指示信息，用于指示所述定位结果消息中携带有所述目标定位测量信息。

可选地，所述定位结果消息中还携带有第一时间戳信息，用于指示使用所述目标定位模型推理出所述AI测量信息的时间。

在一个可选的实现方式中，在第一接入网设备向第一网元发送了上述定位性能监测消息的情况下，在S414之后，该方法还可以包括：第一接入网设备接收第一网元发送的定位性能监测通知消息，该定位性能监测通知消息中携带有所述目标定位模型的标识信息和所述第一定位性能监测信息对应的性能指标，例如，第一定位性能监测信息对应的定位精度信息和模型准确度信息中的至少之一。从而使得第一接入网设备可以获知目标定位模型的性能指标，进一步可以基于该性能指标确定是否使用目标定位模型进行定位推理。

通过本申请实施例提供的上述技术方案，第一接入网设备可以在接收到上述定位消息之后，向第一网元发送定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息，从而使得所述第一网元可以基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息，实现对目标定位模型的定位性能进行监测，解决了由于AI定位模型的性能未知而导致无法确定使用AI定位模型推理得到的AI测量信息进行位置估计得到的估计结果的准确度和精度的问题。

在本申请实施例中，上述目标设备在获取到目标定位模型的性能参数之后，可以在模型性能较差的情况下，优化目标定位模型以提升目标定位模型的定位精度，优化AI定位的服务体验。

下面以第一网元为LMF、第二网元为NWDAF为例，对本申请实施例提供的技术方案进行说明。

图5示出本申请实施例提供的定位模型性能信息的获取方法的另一种流程示意图，如图5所示，该方法主要包括以下步骤：

步骤501，基站A获取AI定位模型。

在图5中，基站A用接入网设备(RAN)表示。

如图5所示，该步骤包括但不限于以下三种实施方式：

步骤501a，基站A训练并生成AI定位模型；

步骤501b，LMF训练生成的AI定位模型之后发送到基站A；

步骤501c，NWDAF训练生成模型之后发送到基站A。

需要说明的是，在步骤501b或步骤501c之前，可选地，基站A可以向LMF或者NWDAF发送一条请求或者订阅消息，请求LMF或NWDAF向基站A提供AI定位模型。

步骤502，基站A决定对目标AI定位模型进行性能监测，触发性能监测流程。

步骤503，基站A向LMF发送模型性能监测请求或签约消息，请求对目标AI定位模型进行性能监测以及反馈性能监测信息。

其中，模型性能监测请求或签约消息中可以携带以下至少一项：

·模型标识信息，表征目标AI定位模型的信息，例如，可以为：Model ID、functionalityID、analytics ID中的之一；

·基站标识信息，表征请求进行模型检测的基站A的身份信息，例如，可以为CGI；

·监测时间段(monitoring period)，表征进行监测模型性能的时间(例如：未来一天，未来一个月)，例如，可以包括：监测开始时间、监测结束时间、监测重复模式、监测重复开始时间、检测重复结束时间中的至少之一；

·第一阈值(notify threshold)，表征性能参数达到某个条件的情况下汇报给基站A，例如，包括定时报告：汇报开始时间、汇报间隔时间、汇报次数；或者，包括条件报告：定位精度阈值和模型准确度阈值。

需要说明的是，上述模型性能监测请求或签约消息可以在NRPPa消息中封装发送给LMF，NRPPa是一种NG-RAN到LMF之间点到点的协议栈，用于传递定位相关的信令，也可以新增一种消息传递该请求或签约消息。

需要说明的是，模型性能监测请求消息对应的回复是一次性的，而模型性能监测签约消息对应的回复是一次或者多次的。

需要说明的是，监测时间段和第一阈值可以为可选参数，当其中一项或者两项都没有提供时，LMF可以根据本地策略或者默认监测参数进行检测和报告，比如，本地配置默认为检测时间段为未来一天，第一阈值为定位精度低于1m时进行报告。

需要说明的是，基站标识信息可以是基站ID，也可以使用基站对应的OAM ID标识一个OAM。

步骤504、LMF根据当前业务情况、负载情况、已经获知的模型检测性能决定是否执行此次模型检测。

如果否，比如：请求检测的model ID已经检测过且性能较差或者正在进行检测，则执行步骤505，并忽略后续步骤；如果是，则执行步骤504且执行后续步骤。

另一种实现方法，步骤505不是必选，LMF无需回复，LMF在决定执行监测之后执行步骤506-步骤513，LMF在决定不执行监测之后直接执行步骤513。

步骤505、LMF向基站A发送模型性能检测回复消息。

其中，模型性能检测回复消息中可以携带以下至少一项：

·模型标识信息，表征监测的目标模型model ID；

·Performance KPI，表征模型推理的性能参数，包括定位精度信息，模型准确度信息等；

·第四指示信息，表征接受或者拒绝对目标模型进行性能监测，包括接受和拒绝；

·原因值，表征拒绝进行性能监测的原因；

需要说明的是，当LMF已经获知目标模型的监测性能或者已知的性能满足步骤503中第一阈值时，模型性能检测回复消息中携带performance KPI，将模型性能信息报告给基站A。其中，第四指示信息为可选参数，可以是隐含的指示信息，比如，携带了原因值既表示拒绝，没有携带原因值既表示接受，也可以是显性的指示信息，明确表征接受或者拒绝对目标模型进行性能监测；原因值为可选参数，包括其中一项：网络拥塞、负载过大、模型性能不满足要求、正在监测。

步骤506，在移动始发位置信息请求(Mobile Original Location Request，MO-LR)、移动终端终结的定位请求(Mobile Terminated Location Request,MT-LR)、延迟的(deferred)MT-LR等定位请求中，LMF决定需要对UE进行定位，选择定位方法，确定参与定位的基站。

在该步骤中，LMF可以通过与接入和移动管理功能(Access and MobilityManagement Function，AMF)和网关的移动位置中心(Gateway Mobile Location Centre，GMLC)进行交互，对UE进行定位。

需要说明的是，参与定位基站可以不是前述的基站A，可以是其他基站。后续步骤中的图示没有区分是为了简便起见，并不意味着这里的RAN始终只有一个基站。

步骤507，LMF向一个或多个基站B(不限于基站A，基站B可以为基站A)发送定位消息(增强或者新增NRPPa消息)，请求一个或多个基站B报告UE的测量信息，定位消息中携带以下至少一项：

·模型标识信息，例如，model ID，analytics ID；

·第一指示信息，即AI定位指示，表征需要基站上报使用目标模型推理出的AI测量信息；

需要说明的是，相关技术中LMF向一个或多个基站B发送NRPPa定位消息，一个或多个基站B向LMF返回常规的测量信息(即非AI测量信息)，而本申请实施例中，通过第二指示信息要求基站上报AI测量信息。

步骤508，一个或多个基站B获得常规定位的测量信息(即上述真实测量信息)和AI测量信息。

步骤509，一个或多个基站B向LMF回复测量结果，其中，测量结果中可以携带以下至少一项：

·第三指示信息，即AI指示，指示此测量结果携带有使用目标模型推理的AI测量信息；

·模型标识信息，例如，model ID，analytics ID；

·AI测量信息，表征使用目标模型推理的AI测量信息；

·AI测量与常规测量差信息，表征AI测量信息与常规测量信息的差异信息，可以是一个矩阵信息；

·常规测量信息(即上述真实测量信息)；

·时间戳。

需要说明的是，在携带第三指示的情况下，AI测量信息、AI测量与常规测量信息差信息两个参数中可以携带一个。

步骤510，LMF向UE获取UE位置信息，即称为label定位结果或称为非AI定位计算出的UE位置估计，或者使用区别于S506选择的定位方法来对UE进行一次定位，获取UE的常规定位结果。

该步骤为可选步骤。

一种是实现方式，S506选择使用上行定位方法，本步骤使用下行定位方法向UE发起一次新的定位过程，要求UE上报UE location。需要说明的是，为了LMF将两次定位的定位估计(AI定位和常规定位)进行对比，UE上报定位估计时可以携带时间戳，LMF依据时间戳进行绑定；或者LMF为两次定位分配同样的任务标识信息(例LCS correlation ID)。

步骤511、LMF进行性能对比，计算定位精度和模型准确性等performance KPI信息。

在具体应用中，可以通过选择下述方法之一计算定位精度和模型准确性：

(1)直接对比：对比定位估计，使用AI测量计算AI定位估计，与步骤510获得的常规定位估算进行对比，这里对比的是AI位置估算和label定位结果；

(2)间接对比1：对比测量信息，直接用AI测量信息和常规测量信息进行对比；

(3)间接对比2：直接判断AI测量与常规测量差信息，LMF通过判断测量差是否满足阈值从而确定模型性能。

步骤512、LMF向基站A回复模型性能检测回复或通知消息。

其中，模型性能检测回复或通知消息可以携带以下至少一项：

·模型标识信息，model ID；

·performance KPI，表征模型推理的性能参数，包括定位精度信息，模型准确度信息等。

可选地，在满足LMF本地汇报策略或者步骤503中第一阈值的条件时，LMF向基站A回复上述模型性能检测回复或通知消息，将模型性能信息发送给基站A。

步骤513、基站A将模型性能监测信息发送给模型训练方(LMF或者NWDAF)，包括上述步骤512中的信息。

该步骤为可选步骤。

图6示出本申请实施例提供的定位模型性能信息的获取方法的又一种流程示意图，该方法与图6的区别在于，该方法由NWDAF触发进行模型性能监测。如图6所示，该方法主要包括以下步骤：

步骤601，NWDAF决定对目标AI定位模型进行性能监测。

例如，NWDAF可以在训练生成目标AI定位模型，将目标AI定位模型下发给至少一个基站A使用，而后，NWDAF决定对目标AI定位模型进行性能监测。

步骤602，NWDAF向LMF发送模型性能监测请求或签约消息，需要说明的是，这一步骤可以通过NWDAF与LMF的直接接口发生，也可以通过GMLC转递，后续步骤611同理。

步骤603-步骤610，同上述步骤504-步骤511，LMF执行目标AI定位模型的性能监测，计算定位精度和模型准确性等performance KPI信息。

步骤611，LMF向NWDAF发送回复模型性能检测回复或通知消息。

其中，模型性能检测回复或通知消息可以携带以下至少一项：

·模型标识信息，model ID；

·performance KPI，表征模型推理的性能参数，包括定位精度信息，模型准确度信息等。

通过本申请实施例提供的上述技术方案，解决了由于AI定位模型的性能未知而导致无法确定使用AI定位模型推理得到的AI测量信息进行位置估计得到的估计结果的准确度和精度的问题，进而使得模型提供方可以基于监测结果对AI定位模型进行优化，提升AI定位模型的定位精度。

本申请实施例提供的定位模型性能信息的获取方法，执行主体可以为定位模型性能信息的获取装置。本申请实施例中以定位模型性能信息的获取装置执行定位模型性能信息的获取方法为例，说明本申请实施例提供的定位模型性能信息的获取装置。

图7示出本申请实施例提供的定位模型性能信息的获取装置的一种结构示意图，如图7所示，该装置700包括：第一发送模块701、第一接收模块702和第一获取模块703。

在本申请实施例中，第一发送模块701，用于向至少一个第一接入点第一接入网设备发送定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；第一接收模块702，用于接收所述至少一个第一接入网设备发送的定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；第一获取模块703，用于基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。

在一个可选的实现方式中，所述定位消息中携带有以下至少一项：

所述目标定位模型的标识信息；

第一指示信息，用于指示第一接入网设备使用所述目标定位模型推理出的AI测量信息进行定位；

第二指示信息，用于指示所述第一网元将对所述目标定位模型进行性能监测。

在一个可选的实现方式中，所述定位结果消息中还携带有以下信息：

所述目标定位模型的标识信息；

第三指示信息，用于指示所述定位结果消息中携带有所述目标定位测量信息。

在一个可选的实现方式中，所述定位结果消息中还携带有第一时间戳信息，用于指示使用所述目标定位模型推理出所述AI测量信息的时间。

在一个可选的实现方式中，基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息，包括以下之一：

在所述目标定位测量信息包括所述AI测量信息和所述真实测量信息的情况下，对比所述AI测量信息与所述真实测量信息之间的差异，基于所述AI测量信息与所述真实测量信息之间的差异，获取所述目标定位模型的第一定位性能监测信息；

在所述目标定位测量信息包括所述差异信息的情况下，基于所述差异信息，获取所述目标定位模型的第一定位性能监测信息；

在所述目标定位测量信息包括所述AI测量信息的情况下，获取终端位置信息，其中，所述终端位置信息包括：终端位置估算和第二时间戳信息；基于所述AI测量信息，获取模型位置估算；基于所述终端位置估算与所述模型位置估算之间的差异，获取所述目标定位模型的第一定位性能监测信息。

在一个可选的实现方式中，第一接收模块702还用于接收目标设备发送的定位性能监测消息，其中，所述定位性能监测消息用于请求对所述目标定位模型进行性能测量，所述定位性能监测消息中携带有所述目标定位模型的标识信息；所述目标设备包括以下之一：所述第一接入网设备、第二接入网设备、第二网元。

在一个可选的实现方式中，所述定位性能监测消息中还携带有以下至少一项：

所述第二网元的目标设备的标识信息；

监测时间段信息，用于指示对所述目标定位模型进行性能监测的时间；

第一阈值，用于指示在所述第一定位性能监测信息对应的性能参数达到所述第一阈值的情况下，通知所述目标设备。

在一个可选的实现方式中，所述目标设备的标识信息，包括以下之一：所述第一接入网设备或所述第二接入网设备的标识ID、所述第一接入网设备或所述第二接入网设备对应的OAM ID。

在一个可选的实现方式中，第一发送模块701还用于向所述目标设备发送定位性能监测响应消息，其中，所述定位性能监测响应消息中携带有所述目标定位模型的标识信息。

在一个可选的实现方式中，在已获知所述目标定位模型的第二定位性能监测信息、且已获知的所述第二定位性能监测信息满足第二阈值的情况下，所述定位性能监测响应消息中还携带有所述第二定位性能监测信息对应的性能指标。

在一个可选的实现方式中，所述定位性能监测响应消息中还携带有以下至少一项：

四指示信息，用于指示以下之一：接受对所述目标定位模型进行性能监测、拒绝对所述目标定位模型进行性能监测；所述

原因值，用于指示拒绝对所述目标定位模型进行性能监测的原因。

在一个可选的实现方式中，所述拒绝对所述目标定位模型进行性能监测的原因包括以下至少一项：

网络拥塞；

所述第一网元的负载大于阈值；

所述目标定位模型的模型性能不满足要求；

正在对所述目标定位模型进行定位性能监测。

在一个可选的实现方式中，所述定位性能监测消息包括以下之一：

定位性能监测请求消息，用于请求获取一次所述目标定位模型的定位性能监测数据；

定位性能监测签约消息，用于请求获取至少一次所述目标定位模型的定位性能监测数据。

在一个可选的实现方式中，第一发送模块701还用于向所述目标设备发送定位性能监测通知消息，其中，所述定位性能监测通知消息中携带有所述目标定位模型的标识信息和所述第一定位性能监测信息对应的性能指标。

在一个可选的实现方式中，所述性能指标包括以下至少之一：

定位精度信息；

模型准确度信息。

本申请实施例提供的定位模型性能信息的获取装置能够实现图3的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

图8示出本申请实施例提供的定位模型的定位监测信息发送装置的一种结构示意图，如图8所示，该装置800包括：第二接收模块801、第二获取模块802和第二发送模块803。

在本申请实施例中，第二接收模块801，用于接收第一网元发送的定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；第二获取模块802，用于获取真实测量信息和使用所述目标定位模型推理出的AI测量信息；第二发送模块803，用于基于所述真实测量信息和所述AI测量信息，向所述第一网元发送定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

在一个可选的实现方式中，所述定位消息中携带有以下至少一项：

所述目标定位模型的标识信息；

第一指示信息，用于指示第一接入网设备使用所述目标定位模型推理出的AI测量信息进行定位；

第二指示信息，用于指示所述第一网元将对所述目标定位模型进行性能监测。

在一个可选的实现方式中，所述定位结果消息中携带有以下信息：

所述目标定位模型的标识信息；

第三指示信息，用于指示所述定位结果消息中携带有所述目标定位测量信息。

在一个可选的实现方式中，所述定位结果消息中还携带有第一时间戳信息，用于指示使用所述目标定位模型推理出所述AI测量信息的时间。

本申请实施例提供的定位模型的定位监测信息发送装置能够实现图4的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。

如图9所示，本申请实施例还提供一种通信设备900，包括处理器901和存储器902，存储器902上存储有可在所述处理器901上运行的程序或指令，例如，该通信设备900为第一网元时，该程序或指令被处理器901执行时实现上述定位模型性能信息的获取方法实施例的各个步骤，且能达到相同的技术效果。该通信设备900为接入网设备时，该程序或指令被处理器901执行时实现上述定位模型的定位监测信息发送方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供一种网络侧设备，包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如图3或4所示的方法实施例的步骤。该网络侧设备实施例与上述网络侧设备方法实施例对应，上述方法实施例的各个实施过程和实现方式均可适用于该网络侧设备实施例中，且能达到相同的技术效果。

具体地，本申请实施例还提供了一种网络侧设备。如图10所示，该网络侧设备1000包括：天线1001、射频装置1002、基带装置1003、处理器1004和存储器1005。天线1001与射频装置1002连接。在上行方向上，射频装置1002通过天线1001接收信息，将接收的信息发送给基带装置1003进行处理。在下行方向上，基带装置1003对要发送的信息进行处理，并发送给射频装置1002，射频装置1002对收到的信息进行处理后经过天线1001发送出去。

以上实施例中网络侧设备执行的方法可以在基带装置1003中实现，该基带装置1003包括基带处理器。

基带装置1003例如可以包括至少一个基带板，该基带板上设置有多个芯片，如图10所示，其中一个芯片例如为基带处理器，通过总线接口与存储器1005连接，以调用存储器1005中的程序，执行以上方法实施例中所示的网络设备操作。

该网络侧设备还可以包括网络接口1006，该接口例如为通用公共无线接口(Common Public Radio Interface，CPRI)。

具体地，本申请实施例的网络侧设备1000还包括：存储在存储器1005上并可在处理器1004上运行的指令或程序，处理器1004调用存储器1005中的指令或程序执行图8所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。

具体地，本申请实施例还提供了一种网络侧设备。如图11所示，该网络侧设备1100包括：处理器1101、网络接口1102和存储器1103。其中，网络接口1102例如为通用公共无线接口(common public radio interface，CPRI)。

具体地，本申请实施例的网络侧设备1100还包括：存储在存储器1103上并可在处理器1101上运行的指令或程序，处理器1101调用存储器1103中的指令或程序执行图7所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述定位模型性能信息的获取方法实施例的各个过程，或者实现上述定位模型的定位监测信息发送方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。在一些示例中，可读存储介质可以是非瞬态的可读存储介质。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，上述定位模型性能信息的获取方法实施例的各个过程，或者实现上述定位模型的定位监测信息发送方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。

本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以上述定位模型性能信息的获取方法实施例的各个过程，或者实现上述定位模型的定位监测信息发送方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

本申请实施例还提供了一种通信系统，包括：第一网元及第一接入网设备，所述第一网元可用于执行如上所述的定位模型性能信息的获取方法的步骤，所述第一接入网设备可用于执行如上所述的定位模型的定位监测信息发送方法的步骤。

一种实施方式中，所述通信系统还包括目标设备，所述目标设备用于执行如上所述的定位模型性能信息的获取方法中目标设备执行的步骤。

一种实施方式中，所述目标设备包括以下之一：所述第一接入网设备、第二接入网设备、第二网元。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助计算机软件产品加必需的通用硬件平台的方式来实现，当然也可以通过硬件。该计算机软件产品存储在存储介质(如ROM、RAM、磁碟、光盘等)中，包括若干指令，用以使得终端或者网络侧设备执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式的实施方式，这些实施方式均属于本申请的保护之内。

Claims (23)

1.一种定位模型性能信息的获取方法，其特征在于，包括：

第一网元向至少一个第一接入网设备发送定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的人工智能AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；

所述第一网元接收所述至少一个第一接入网设备发送的定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；

所述第一网元基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。

2.根据权利要求1所述的方法，其特征在于，所述定位消息中携带有以下至少一项：

所述目标定位模型的标识信息；

第一指示信息，用于指示第一接入网设备使用所述目标定位模型推理出的AI测量信息进行定位；

第二指示信息，用于指示所述第一网元将对所述目标定位模型进行性能监测。

3.根据权利要求1或2所述的方法，其特征在于，所述定位结果消息中还携带有以下信息：

所述目标定位模型的标识信息；

第三指示信息，用于指示所述定位结果消息中携带有所述目标定位测量信息。

4.根据权利要求1至3任一项所述的方法，其特征在于，所述定位结果消息中还携带有第一时间戳信息，用于指示使用所述目标定位模型推理出所述AI测量信息的时间。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一网元基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息，包括以下之一：

在所述目标定位测量信息包括所述AI测量信息和所述真实测量信息的情况下，所述第一网元对比所述AI测量信息与所述真实测量信息之间的差异，基于所述AI测量信息与所述真实测量信息之间的差异，获取所述目标定位模型的第一定位性能监测信息；

在所述目标定位测量信息包括所述差异信息的情况下，所述第一网元基于所述差异信息，获取所述目标定位模型的第一定位性能监测信息；

在所述目标定位测量信息包括所述AI测量信息的情况下，所述第一网元获取终端位置信息，其中，所述终端位置信息包括：终端位置估算和第二时间戳信息；基于所述AI测量信息，获取模型位置估算；基于所述终端位置估算与所述模型位置估算之间的差异，获取所述目标定位模型的第一定位性能监测信息。

6.根据权利要求1至5任一项所述的方法，其特征在于，在所述第一网元向至少一个第一接入网设备发送定位消息之前，所述方法还包括：

所述第一网元接收目标设备发送的定位性能监测消息，其中，所述定位性能监测消息用于请求对所述目标定位模型进行性能测量，所述定位性能监测消息中携带有所述目标定位模型的标识信息；所述目标设备包括以下之一：所述第一接入网设备、第二接入网设备、第二网元。

7.根据权利要求6所述的方法，其特征在于，所述定位性能监测消息中还携带有以下至少一项：

所述目标设备的标识信息；

监测时间段信息，用于指示对所述目标定位模型进行性能监测的时间；

第一阈值，用于指示在所述第一定位性能监测信息对应的性能参数达到所述第一阈值的情况下，通知所述目标设备。

8.根据权利要求7所述的方法，其特征在于，所述目标设备的标识信息，包括以下之一：所述第一接入网设备或所述第二接入网设备的标识ID、所述第一接入网设备或所述第二接入网设备对应的操作管理维护OAM ID。

9.根据权利要求7所述的方法，其特征在于，在所述第一网元接收目标设备发送的定位性能监测消息之后，所述方法还包括：

所述第一网元向所述目标设备发送定位性能监测响应消息，其中，所述定位性能监测响应消息中携带有所述目标定位模型的标识信息。

10.根据权利要求9所述的方法，其特征在于，在所述第一网元已获知所述目标定位模型的第二定位性能监测信息、且已获知的所述第二定位性能监测信息对应的性能指标满足第二阈值的情况下，所述定位性能监测响应消息中还携带有所述第二定位性能监测信息对应的性能指标。

11.根据权利要求9或10所述的方法，其特征在于，所述定位性能监测响应消息中还携带有以下至少一项：

第四指示信息，用于指示以下之一：接受对所述目标定位模型进行性能监测、拒绝对所述目标定位模型进行性能监测；

原因值，用于指示拒绝对所述目标定位模型进行性能监测的原因。

12.根据权利要求11所述的方法，其特征在于，所述拒绝对所述目标定位模型进行性能监测的原因包括以下至少一项：

网络拥塞；

所述第一网元的负载大于阈值；

所述目标定位模型的模型性能不满足要求；

正在对所述目标定位模型进行定位性能监测。

13.根据权利要求6至12任一项所述的方法，其特征在于，所述定位性能监测消息包括以下之一：

定位性能监测请求消息，用于请求获取一次所述目标定位模型的定位性能监测数据；

定位性能监测签约消息，用于请求获取至少一次所述目标定位模型的定位性能监测数据。

14.根据权利要求6至12任一项所述的方法，其特征在于，在所述第一网元基于所述目标定位信息，获取对所述目标定位模型的第一定位性能监测信息之后，所述方法还包括：

所述第一网元向所述目标设备发送定位性能监测通知消息，其中，所述定位性能监测通知消息中携带有所述目标定位模型的标识信息和所述第一定位性能监测信息对应的性能指标。

15.根据权利要求10或14所述的方法，其特征在于，所述性能指标包括以下至少之一：

定位精度信息；

模型准确度信息。

16.一种定位模型的定位监测信息发送方法，其特征在于，包括：

第一接入网设备接收第一网元发送的定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；

所述第一接入网设备获取真实测量信息和使用所述目标定位模型推理出的AI测量信息；

所述第一接入网设备基于所述真实测量信息和所述AI测量信息，向所述第一网元发送定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

17.根据权利要求16所述的方法，其特征在于，所述定位消息中携带有以下至少一项：

所述目标定位模型的标识信息；

第一指示信息，用于指示第一接入网设备使用所述目标定位模型推理出的AI测量信息进行定位；

第二指示信息，用于指示所述第一网元将对所述目标定位模型进行性能监测。

18.根据权利要求17所述的方法，其特征在于，所述定位结果消息中携带有以下信息：

所述目标定位模型的标识信息；

第三指示信息，用于指示所述定位结果消息中携带有所述目标定位测量信息。

19.根据权利要求16至18任一项所述的方法，其特征在于，所述定位结果消息中还携带有第一时间戳信息，用于指示使用所述目标定位模型推理出所述AI测量信息的时间。

20.一种定位模型性能信息的获取装置，其特征在于，包括：

第一发送模块，用于向至少一个第一接入点第一接入网设备发送定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；

第一接收模块，用于接收所述至少一个第一接入网设备发送的定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；

第一获取模块，用于基于所述目标定位测量信息，获取所述目标定位模型的第一定位性能监测信息。

21.一种定位模型的定位监测信息发送装置，其特征在于，包括：

第二接收模块，用于接收第一网元发送的定位消息，其中，所述定位消息用于请求报告以下之一：使用所述目标定位模型进行推理产生的AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息；

第二获取模块，用于获取真实测量信息和使用所述目标定位模型推理出的AI测量信息；

第二发送模块，用于基于所述真实测量信息和所述AI测量信息，向所述第一网元发送定位结果消息，其中，所述定位结果消息中携带有目标定位测量信息，所述目标定位测量信息包括以下之一：所述AI测量信息、所述AI测量信息和真实测量信息、所述AI测量信息与真实测量信息之间的差异信息。

22.一种网络侧设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至19任一项所述的方法的步骤。

23.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求如权利要求1至19任一项所述的方法的步骤。