[go: up one dir, main page]

WO2023169402A1 - 模型的准确度确定方法、装置及网络侧设备 - Google Patents

模型的准确度确定方法、装置及网络侧设备 Download PDF

Info

Publication number
WO2023169402A1
WO2023169402A1 PCT/CN2023/080018 CN2023080018W WO2023169402A1 WO 2023169402 A1 WO2023169402 A1 WO 2023169402A1 CN 2023080018 W CN2023080018 W CN 2023080018W WO 2023169402 A1 WO2023169402 A1 WO 2023169402A1
Authority
WO
WIPO (PCT)
Prior art keywords
model
network element
information
task
accuracy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2023/080018
Other languages
English (en)
French (fr)
Inventor
崇卫微
程思涵
吴晓波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202210958867.2A external-priority patent/CN116776989A/zh
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to EP23765980.0A priority Critical patent/EP4488886A4/en
Priority to JP2024553731A priority patent/JP7784003B2/ja
Publication of WO2023169402A1 publication Critical patent/WO2023169402A1/zh
Priority to US18/827,235 priority patent/US20240428141A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition

Definitions

  • the present application belongs to the field of mobile communication technology, and specifically relates to a method, device and network side equipment for determining the accuracy of a model.
  • some network elements are introduced for intelligent data analysis and generate data analysis results (analytics) (or called inference data results) for some tasks.
  • the data analysis results can assist devices inside and outside the network to implement strategies.
  • the purpose of decision-making is to use artificial intelligence (Artificial Intelligence, AI) methods to improve the intelligence of equipment strategy decision-making.
  • AI Artificial Intelligence
  • NWDAF Network Data Analytics Function
  • ML machine learning
  • the Policy Control Function entity (Policy Control Function, PCF) performs intelligent policy control and charging (PCC) based on the inference result data, such as formulating intelligent user residence policies based on the inference result data of the user's business behavior, improving User's business experience; or, the Access and Mobility Management Function (AMF) performs intelligent mobility management operations based on the inference result data of a certain AI task, such as intelligence based on the inference result data of the user's movement trajectory Paging users to improve paging reachability rate.
  • PCC policy control and charging
  • AMF Access and Mobility Management Function
  • Devices inside and outside the network can make correct and optimized strategic decisions based on AI data analysis results.
  • the premise is that they need to be based on correct data analysis results. If the accuracy of the data analysis results is relatively low and is provided as erroneous information to devices inside and outside the network for reference, wrong strategic decisions will eventually be made or inappropriate operations will be performed. Therefore, it is necessary to ensure the accuracy of data analysis results.
  • Embodiments of the present application provide a method, device, and network-side device for determining the accuracy of a model, which can solve the problem of relatively low accuracy of inference result data obtained by the model.
  • the first aspect provides a method for determining the accuracy of the model, which is applied to the first network element. Laws include:
  • the first network element performs reasoning on the task based on the first model
  • the first network element determines a first accuracy corresponding to the first model, and the first accuracy is used to indicate the accuracy of the inference result of the first model for the task;
  • the first network element When the first accuracy reaches the preset condition, the first network element sends first information to the second network element, and the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirement. demand or decline;
  • the second network element is a network element that provides the first model.
  • a model accuracy determination device including:
  • the execution module is used to reason about the task based on the first model
  • a calculation module configured to determine a first accuracy corresponding to the first model, where the first accuracy is used to indicate the accuracy of the inference result of the first model for the task;
  • a transmission module configured to send first information to the second network element when the first accuracy reaches a preset condition, where the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirement. demand or decline;
  • the second network element is a network element that provides the first model.
  • the third aspect provides a method for determining the accuracy of the model, which is applied to the second network element.
  • the method includes:
  • the second network element receives first information from the first network element, where the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirement or has declined;
  • the second network element retrains the first model based on the first information.
  • the fourth aspect provides a model accuracy determination device, including:
  • a transceiver module configured to receive first information from the first network element, where the first information is used to indicate that the accuracy of the first model does not meet accuracy requirements or has declined;
  • a training module configured to retrain the first model based on the first information.
  • the fifth aspect provides a method for determining the accuracy of the model, which is applied to the fourth network element.
  • the method includes:
  • the fourth network element receives third information from the first network element.
  • the third information is used to instruct the fourth network element to store first data of a task.
  • the task is performed by the first network element based on the first model. the task of reasoning;
  • the first data includes at least one of the following:
  • a sixth aspect provides a model accuracy determination device, including:
  • a communication module configured to receive third information from the first network element, where the third information is used to indicate the first data of the storage task, where the task is a task for the first network element to perform inference based on the first model;
  • a storage module used to save the first data of the task
  • the first data includes at least one of the following:
  • a network side device in a seventh aspect, includes a processor and a memory.
  • the memory stores programs or instructions that can be run on the processor.
  • the program or instructions are used by the processor.
  • the processor When the processor is executed, the steps of the method described in the first aspect, or the steps of the method described in the third aspect, or the steps of the method described in the fifth aspect are implemented.
  • a model accuracy determination system including: a network side device, the network side device includes a first network element, a second network element, and a fourth network element, and the first network element can be used for
  • the second network element may be used to perform the steps of the accuracy determination method of the model as described in the first aspect
  • the fourth network element may be used to perform the steps of the accuracy determination method of the model as described in the third aspect.
  • the steps of the accuracy determination method of the model as described in the fifth aspect are performed.
  • a readable storage medium is provided. Programs or instructions are stored on the readable storage medium. When the programs or instructions are executed by a processor, the steps of the method described in the first aspect are implemented, or the steps of the method are implemented as described in the first aspect. The steps of the method described in the third aspect, or the steps of implementing the method described in the fifth aspect.
  • a chip in a tenth aspect, includes a processor and a communication interface.
  • the communication interface is coupled to the processor.
  • the processor is used to run programs or instructions to implement the method described in the first aspect. or implement the steps of the method described in the third aspect, or implement the steps of the method described in the fifth aspect.
  • a computer program/program product is provided, the computer program/program product is stored in a storage medium, and the computer program/program product is executed by at least one processor to implement the first aspect
  • the first network element is used to reason about the task based on the first model; the first accuracy corresponding to the first model is determined; when the first accuracy reaches the preset condition, the The first network element sends first information to the second network element.
  • the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirements or has declined, so that the accuracy of the model in actual application can be verified. Monitor the accuracy and take appropriate measures in a timely manner when the accuracy drops to prevent making wrong strategic decisions or performing inappropriate operations.
  • Figure 1 is a schematic structural diagram of a wireless communication system applicable to the embodiment of the present application.
  • Figure 2 is a schematic flowchart of a method for determining the accuracy of a model provided by an embodiment of the present application
  • Figure 3 is another schematic flowchart of a method for determining the accuracy of a model provided by an embodiment of the present application
  • Figure 4 is another schematic flowchart of a method for determining the accuracy of a model provided by an embodiment of the present application
  • Figure 5 is another schematic flow chart of the accuracy determination method of the model provided by the embodiment of the present application.
  • Figure 6 is a schematic structural diagram of a model accuracy determination device provided by an embodiment of the present application.
  • Figure 7 is another schematic flowchart of a method for determining the accuracy of a model provided by an embodiment of the present application.
  • Figure 8 is another structural schematic diagram of the accuracy determination device of the model provided by the embodiment of the present application.
  • Figure 9 is another schematic flowchart of the accuracy determination method of the model provided by the embodiment of the present application.
  • Figure 10 is another structural schematic diagram of the accuracy determination device of the model provided by the embodiment of the present application.
  • Figure 11 is a schematic structural diagram of a communication device provided by an embodiment of the present application.
  • Figure 12 is a schematic structural diagram of a network side device that implements an embodiment of the present application.
  • first, second, etc. in the description and claims of this application are used to distinguish similar objects and are not used to describe a specific order or sequence. It is to be understood that the terms so used are interchangeable under appropriate circumstances so that the embodiments of the present application can be practiced in sequences other than those illustrated or described herein, and that "first" and “second” are distinguished objects It is usually one type, and the number of objects is not limited.
  • the first object can be one or multiple.
  • “and/or” in the description and claims indicates at least one of the connected objects, and the character “/" generally indicates that the related objects are in an "or” relationship.
  • LTE Long Term Evolution
  • LTE-Advanced, LTE-A Long Term Evolution
  • CDMA Code Division Multiple Access
  • TDMA Time Division Multiple Access
  • FDMA Frequency Division Multiple Access
  • OFDMA Orthogonal Frequency Division Multiple Access
  • SC-FDMA Single-carrier Frequency Division Multiple Access
  • system and “network” in the embodiments of this application are often used interchangeably, and the described technology can be used not only for the above-mentioned systems and radio technologies, but also for other systems and radio technologies.
  • 5G 5th Generation Mobile Communication Technology
  • 5G terminology is used in most of the following description, but these technologies can also be applied to applications other than 5G system applications, Such as the 6th Generation (6G) communication system.
  • FIG. 1 shows a block diagram of a wireless communication system to which embodiments of the present application are applicable.
  • the wireless communication system includes a terminal 11 and a network side device 12.
  • the terminal 11 may be a mobile phone, a tablet computer (Tablet Personal Computer), a laptop computer (Laptop Computer), or a notebook computer, a personal digital assistant (Personal Digital Assistant, PDA), a palmtop computer, a netbook, or a super mobile personal computer.
  • Tablet Personal Computer Tablet Personal Computer
  • laptop computer laptop computer
  • PDA Personal Digital Assistant
  • PDA Personal Digital Assistant
  • UMPC ultra-mobile personal computer
  • UMPC mobile Internet device
  • Mobile Internet Device MID
  • AR augmented reality
  • VR virtual reality
  • robots wearable devices
  • VUE vehicle-mounted equipment
  • PUE pedestrian terminal
  • smart home home equipment with wireless communication functions, such as refrigerators, TVs, washing machines or furniture, etc.
  • PC personal computers
  • teller machines or self-service Terminal devices such as mobile phones
  • wearable devices include: smart watches, smart bracelets, smart headphones, smart glasses, smart jewelry (smart bracelets, smart bracelets, smart rings, smart necklaces, smart anklets, smart anklets, etc.), Smart wristbands, smart clothing, etc.
  • the network side device 12 may include an access network device or a core network device, where the access network device 12 may also be called a radio access network device, a radio access network (Radio Access Network, RAN), a radio access network function or Wireless access network unit.
  • the access network device 12 may include a base station, a Wireless Local Area Network (WLAN) access point or a Wireless Fidelity (WiFi) node, etc.
  • WLAN Wireless Local Area Network
  • WiFi Wireless Fidelity
  • the base station may be called a Node B, an Evolved Node B, eNB), access point, Base Transceiver Station (BTS), radio base station, radio transceiver, Basic Service Set (BSS), Extended Service Set (ESS), Home B Node, home evolved B node, transmitting receiving point (Transmitting Receiving Point, TRP) or some other suitable term in the field.
  • BTS Base Transceiver Station
  • BSS Basic Service Set
  • ESS Extended Service Set
  • Home B Node home evolved B node
  • TRP Transmitting Receiving Point
  • the base station is not limited to specific technical terms. It needs to be explained that , in the embodiment of this application only 5G
  • the base station in the system is introduced as an example, and the specific type of base station is not limited.
  • Core network equipment may include but is not limited to at least one of the following: core network nodes, core network functions, mobility management entities (Mobility Management Entity, MME), access mobility management functions (Access and Mobility Management Function, AMF), session management functions (Session Management Function, SMF), User Plane Function (UPF), Policy Control Function (PCF), Policy and Charging Rules Function (PCRF), Edge Application Service Discovery function (Edge Application Server Discovery Function, EASDF), Unified Data Management (UDM), Unified Data Repository (UDR), Home Subscriber Server (HSS), centralized network configuration ( Centralized network configuration (CNC), Network Repository Function (NRF), Network Exposure Function (NEF), Local NEF (Local NEF, or L-NEF), Binding Support Function (Binding Support Function, BSF), application function (Application Function, AF), etc.
  • MME mobility management entities
  • AMF Access and Mobility Management Function
  • SMF Session Management Function
  • UPF User Plane Function
  • PCF Policy Control Function
  • the embodiment of the present application provides a method for determining the accuracy of a model.
  • the execution subject of the method includes a first network element, and the first network element includes a model inference function network element.
  • the method can It is executed by the software or hardware installed on the first network element.
  • the method includes the following steps.
  • the first network element performs inference on the task based on the first model.
  • the first network element may be a network element that has both a model inference function and a model training function.
  • the first network element is a NWDAF
  • the NWDAF may include an analysis logic function network element (Analytics Logical Function, AnLF) and model training logical network element (Model Training Logical Function, MTLF).
  • AnLF analysis logic function network element
  • MTLF Model Training Logical Function
  • the first network element includes a model inference function network element
  • the second network element includes a model training function network element.
  • the first network element is AnLF
  • the second network element is MTLF.
  • NWDAF is used as the first network element
  • the second network element and the first network element in the following embodiments may be the same network element, that is, the MTLF and AnLF are merged into NWDAF.
  • the first model can be constructed and trained according to actual needs, such as an AI/ML model. Training data is collected by MTLF, and model training is performed based on the training data. After the training is completed, MTLF sends the information of the trained first model to AnLF.
  • AnLF After determining the triggered task, AnLF performs inference on the task based on the first model and obtains inference result data.
  • the task is a data analysis task, which is used to indicate a task type rather than a single task.
  • AnLF can determine the corresponding task based on the identification information (Analytics ID) of the task, etc.
  • the first model corresponding to the task is then used to perform inference on the task based on the corresponding first model to obtain inference result data.
  • UE User Equipment
  • AnLF can reason about the task based on the first model corresponding to UE mobility.
  • the obtained inference result data is the predicted terminal location (UE location) information.
  • AnLF can perform one or more inferences on the task based on the first model to obtain multiple inferences Result data, or inference result data that includes multiple output result values.
  • the execution of the AnLF's inference on the task can be triggered by a third network element sending a task request message.
  • the third network element is the network element that triggers the task.
  • the third network element It may include consumer network elements (consumer Network Function, consumer NF), which may be network elements of the 5G system, or may be terminals or third-party application functions (Application Function, AF), etc.
  • the task can also be actively triggered by AnLF, for example, by setting up a verification test phase, in which AnLF actively simulates the triggering task for testing the first model. accuracy.
  • AnLF is the first network element
  • MTLF is the second network element
  • consumer NF is the third network element.
  • the first network element determines the first accuracy corresponding to the first model.
  • the first accuracy is used to indicate the accuracy of the inference result of the first model for the task.
  • the step S220 includes:
  • the first network element obtains inference result data corresponding to the task based on the first model
  • the first network element obtains label data corresponding to the inference result data.
  • the label data can be obtained from the label data source device.
  • the label data refers to the ground truth of the data. ), that is, actual facts and data;
  • the correct result may mean that the inference result data is consistent with the label data, or that the gap between the inference result data and the label result data is within the allowable range.
  • the first accuracy can be expressed in various forms, and is not limited to a specific percentage value, such as 90%. It can also be a categorical expression, such as high, medium, low, etc., or normalized data, such as 0.9 .
  • the first accuracy in the embodiment of the present application can indicate the accuracy of the inference result of the first model on the task from the front or the back.
  • the first accuracy can be used for Indicate at least one of the following:
  • the correctness of the inference result of the task can be used to positively indicate the accuracy of the first model by calculating the accuracy of the inference result of the first model on the task;
  • the degree of error of the inference result of the task may be calculated, for example, by calculating the error rate or inference error of the first model on the inference result of the task, which indicates the degree of accuracy of the first model.
  • the calculation methods of inference error can be various, such as mean absolute error (Mean Absolute Error, MAE), mean square error (Mean Square Error, MSE), etc.
  • the first network element obtains the tag data corresponding to the inference result data including:
  • the first network element determines the source device of the tag data corresponding to the task
  • the first network element obtains the tag data from the source device.
  • the source device of the tag data can be determined by AnLF according to the output of the first model.
  • the type information of the data, the limiting condition information of the task, the object information, etc. are determined.
  • step S220 can be diverse and can be preset by AnLF or obtained from MTLF, for example, through a model performance subscription request (Performance Monitoring) sent to AnLF.
  • the first network element sends first information to the second network element, where the first information is used to indicate that the accuracy of the first model is not sufficient. Meet accuracy requirements or decline; wherein, the second network element is the network element that provides the first model.
  • AnLF determines whether the accuracy of the first model meets accuracy requirements or declines based on whether the first accuracy reaches a preset condition.
  • the preset condition may include that the first accuracy is less than a preset threshold or the decline reaches a certain extent.
  • AnLF determines that the accuracy of the first model does not meet the accuracy requirements or has declined, it sends first information to the MTLF that provides the first model to inform MTLF that the accuracy of the first model does not meet the accuracy requirement. demand may decline.
  • the first network element may also send the first information to the second network element based on a triggering event, where the triggering event may include the first network element completing the first accuracy calculation, or Arrive at a specific time.
  • the first network element may also send the first information to the second network element based on a preset period.
  • the first information may be used to indicate at least one of the following:
  • the accuracy of the first model meets accuracy requirements
  • the accuracy of the first model does not meet the accuracy requirement or decreases.
  • MTLF can determine subsequent operations based on the first information. For example, MTLF can retrain the first model or reselect another model that can be used to reason about the task. model and sent to AnLF. Among them, MTLF can require other models to meet certain conditions when selecting other models, and the certain conditions can include at least one of the following: the second accuracy of other models is higher than the second accuracy of the first model; the other models The second accuracy of is higher than the first accuracy of the first model; the model performance requirements of other models are higher than the model performance requirements of the first model.
  • the method further includes:
  • the first network element receives a model performance subscription request from the second network element, where the model performance subscription request is used to request the first network element to monitor the accuracy of the first model.
  • the first network element may also receive the model performance subscription request from the second network element before step S210 or S220.
  • the first network element may send a model performance subscription response message (Model Performance Monitoring Notification) to the second network element according to the model performance subscription request, and the model performance subscription response message may carry the first information.
  • Model Performance Monitoring Notification Model Performance Monitoring Notification
  • the first network element is used to reason about the task based on the first model; the first accuracy corresponding to the first model is determined; when the first accuracy reaches the preset If conditions exist, the first network element sends first information to the second network element.
  • the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirements or has declined, so that the model can be evaluated. Monitor the accuracy during the actual application process, and take appropriate measures in a timely manner when the accuracy drops to prevent making wrong strategic decisions or performing inappropriate operations.
  • the accuracy determination method of the model includes the following steps.
  • the MTLF trains the first model in advance, and the training process may include steps A1-A2.
  • Step A1.MTLF collects training data from the training data source device.
  • Step A2. MTLF trains the first model based on the training data.
  • Step A5. After completing the training of the first model, MTLF may send the trained first model information to AnLF.
  • the message specifically carrying the information of the first model may be an Nnwdaf_MLModelProvision_Notify or Nnwdaf_MLModelInfo_Response message.
  • step A5 the method further includes:
  • Step A4 AnLF sends a message requesting the model to MTLF.
  • MTLF in the training phase of the first model or the testing phase after training in step A2, MTLF needs to evaluate the accuracy of the first model and calculate the second accuracy of the first model, That is AiT.
  • the second accuracy can be obtained using the same calculation formula as the first accuracy.
  • MTLF can set a verification data set for evaluating the second accuracy of the first model.
  • the verification data set includes input data for the first model and corresponding label data, and MTLF inputs the input data.
  • the first model after training obtains output data, and then compares whether the output data is consistent with the label data, and then calculates the second accuracy of the first model according to the above formula.
  • the MTLF when sending the information of the first model to AnLF in step A5, may also send the second accuracy of the first model at the same time, or send all the information to the AnLF through an independent message.
  • the second accuracy of the first model when sending the information of the first model to AnLF in step A5, the MTLF may also send the second accuracy of the first model at the same time, or send all the information to the AnLF through an independent message. The second accuracy of the first model.
  • the message requesting the model may include AnLF's demand information for the first model, such as: model performance requirements, model description format or language requirements, manufacturer requirements, timeliness requirements, regional requirements, and model size requirements. wait.
  • the model performance requirement may be a requirement for the second accuracy of the first model.
  • MTLF when MTLF sends the information of the first model to AnLF in step A5, it may also send related information corresponding to the first model and the demand information at the same time, such as the second accuracy, the model's Description format or language, model timeliness information, applicable area information, model size information, etc.
  • the method further includes:
  • Consumer NF sends a task request message to the AnLF.
  • the task request message is used to request inference on the task, thereby triggering AnLF to execute the inference process on the task based on the first model corresponding to the task. .
  • the task request message contains description information of the task.
  • the description information of the task can be diverse and can include identification information of the task, qualification information (Analytics Filter Information) of the task, and Object information (Analytics Target), etc.
  • the objects and scope involved in the task can be determined through the description information of the task.
  • the limiting condition information of the task is used to limit the execution range of the task, which may include time range, regional range, etc.
  • the object information of the task is used to indicate the object for which the task is directed, for example, a certain terminal identification (UE ID), a certain terminal group identification (UE group ID) or any terminal (any UE)
  • UE ID terminal identification
  • UE group ID terminal group identification
  • any terminal any UE
  • the AnLF may request a model from the MTLF according to the task request message, and obtain the information of the first model and the second accuracy of the first model from the MTLF.
  • the steps A1-A2 may be located after step A4, that is, after MTLF receives the message requesting the model sent by AnLF, it then trains the first model corresponding to the task, and sends the trained The first model message is sent to AnLF.
  • step S210 includes steps A6-A8.
  • Step A6 AnLF determines at least one of the following relevant information based on the received task request message:
  • Type information of the input data of the first model
  • Type information of the output data of the first model
  • the source device of the inference input data corresponding to the task
  • the source device of the tag data corresponding to the task is the source device of the tag data corresponding to the task.
  • the first model corresponding to the task can be determined by the task type indicated by the analytics ID in the task request message; or, the first model that needs to be used by the task can be determined by the mapping relationship between the analytics ID and the first model. Determine; where the first model can be represented by the identification information (model ID) of the model, such as model 1.
  • the type information of the input data of the first model may also be called metadata information of the model.
  • the input data may include terminal identification (UE ID), time and current service status of the terminal, etc.
  • the type information of the output data of the first model includes a data type (data type), such as a tracking area (Tracking Area, TA) or cell (cell) used to indicate the UE location.
  • data type such as a tracking area (Tracking Area, TA) or cell (cell) used to indicate the UE location.
  • the source device of the inference input data corresponding to the task can be determined by AnLF based on the analytics filter information and analytics target information in the task request message, and then based on the object and scope and metadata information , determine the network element that can obtain the inference input data corresponding to the task as the source device of the inference input data corresponding to the task.
  • the source device of the tag data corresponding to the task can be determined by AnLF according to the type information of the output data of the first model (Network Functions Type, NF type) that can provide the output data, and then based on The limiting condition information and object information of the task determine the specific network element instance (instance) corresponding to the network element device type, and use the network element instance as the source device of the label data.
  • the type information of the output data of the first model Network Functions Type, NF type
  • the limiting condition information and object information of the task determine the specific network element instance (instance) corresponding to the network element device type, and use the network element instance as the source device of the label data.
  • AnLF determines that the network element equipment type AMF type can provide the data of UE location, and AnLF then determines that the data of UE location can be provided by the network element equipment type AMF type, and AnLF then determines according to the task's qualification information AOI, etc.
  • the object UE1 of the task is queried from the Unified Data Management Entity (Unified Data Management, UDM) or the Network Repository Function (NRF).
  • UDM Unified Data Management Entity
  • NRF Network Repository Function
  • Step A7 AnLF obtains the inference input data corresponding to the task. Specifically, AnLF may send a request message for the inference input data according to the source device of the inference input data of the task determined in step A6, for collecting the inference input data corresponding to the task. Reason about input data.
  • Step A8 AnLF performs inference on the corresponding inference input data of the task based on the obtained first model, and obtains inference result data.
  • the method further includes:
  • Step A9 The first network element sends the inference result data to the third network element, that is, AnLF sends the inference result data obtained through inference to the consumer NF.
  • the inference result data can be used to inform the consumer NF and the first model corresponding to the analytics ID of the statistical or predicted values obtained through inference, and to assist the consumer NF in executing corresponding strategic decisions.
  • statistics or prediction values corresponding to UE mobility can be used to assist AMF in optimizing user paging.
  • the message specifically carrying the inference result data may be an Nnwdaf_AnalyticsSubscription_Notify or Nnwdaf_AnalyticsInfo_Response message.
  • Step A10 AnLF obtains label data corresponding to the inference result data.
  • the message specifically carrying the tag data may be an Nnf_EventExposure_Subscirbe message.
  • AnLF can send a tag data request message to the source device of the tag data determined in step A6, which includes the type information of the tag data, the object information corresponding to the tag data, and time information (such as timestamp, time period ), etc., used to determine which tag data to feed back to the source device of the tag data.
  • the type information of the tag data, the object information corresponding to the tag data, time information, etc. in the request message of the tag data can be determined by AnLF according to the type information of the output data of the first model, the object information of the task, and determine the condition information of the task.
  • AnLF determines the type information of the label data that needs to be obtained based on the type information of the output data of the first model; AnLF determines the object information of the label data that needs to be obtained based on the object information of the task; if AnLF determines the type information of the label data that needs to be obtained based on the object information of the task; If the qualification information determines that the reasoning process of the task is a statistical calculation made at a certain time in the past or a prediction made at a certain time in the future, AnLF also needs to obtain the label corresponding to the certain time in the past or a certain time in the future. data.
  • AMF Location Management Function
  • step A8 AnLF obtains multiple inference result data by executing one or more inference processes, AnLF needs to obtain multiple label data corresponding to the multiple inference result data.
  • step S220 includes steps A11-A12.
  • Step A11 AnLF calculates the first accuracy of the first model based on the inference result data and label data.
  • Step A12.AnLF determines whether the first accuracy satisfies the preset condition, and performs step A13 if the first accuracy satisfies AnLF.
  • the preset conditions can be set according to actual needs.
  • the preset conditions include at least one of the following conditions:
  • the first accuracy is lower than a first threshold
  • the first accuracy is lower than the second accuracy
  • the first accuracy is lower than the second accuracy, and the difference from the second accuracy is greater than the second threshold.
  • the first threshold can be obtained in various ways.
  • the first threshold can be set by AnLF or set by MTLF, and then sent to AnLF as a judgment condition or trigger condition.
  • MTLF sets it to the model performance requirement value (Model Performance Requirement) required when AnLF requests the first model.
  • the second network element when the second network element sends the information of the first model to the first network element, it may be sent together with the information of the first model.
  • model performance subscription message may be carried by the second network element to the first network element.
  • step S230 includes step A13.
  • Step A13 AnLF sends the first information to MTLF, where the first information is used to notify MTLF that the accuracy of the first model does not meet the accuracy requirement or has declined.
  • the first information may be sent through the Nnwdaf_AnalyticsSubscription_Notify message.
  • AnLF may also send the first information to MTLF through Model Performance Monitoring Notification.
  • the first information may also be used to request MTLF to retrain the first model or to re-request a model.
  • the first information may be sent through the Nnwdaf_MLModelProvision_Subscribe or Nnwdaf_MLModelInfo_Request message.
  • the first information includes at least one of the following:
  • the identification information of the first model such as Model ID;
  • the identification information of the task such as Analytics ID;
  • the qualification information of the task is used to indicate the scope involved in the first information, that is, the object and scope of the task involved when the accuracy of the first model does not meet the accuracy requirements or decreases, including: Time range, regional range, object range, etc.;
  • the first data of the task is used to retrain the first model.
  • the first data includes at least one of the following:
  • Step A14 The MTLF can enter the retraining process of the first model based on the first information.
  • the specific training process is basically the same as the training process in step A2.
  • the specific difference is that the training data can include the The first data of the task.
  • the retraining process of the first model may be to retrain the initialized first model based on the training data, or to train the current first model based on the training data to achieve fine-tuning of the first model, thereby It can converge faster and save resources.
  • the method further includes:
  • Step A15 The first network element receives second information from the second network element, and the second information Including the information of the retrained first model, that is, MTLF sends the information of the retrained first model to AnLF, so that the AnLF can resume reasoning on the task.
  • the second information further includes at least one of the following:
  • the applicable condition information of the retrained first model which may include the time range, regional range, object range, etc. targeted by the first model;
  • the third accuracy of the retrained first model is the AiT of the retrained first model.
  • the third accuracy is used to indicate that the retrained first model is in the training phase or the testing phase. How accurate the model outputs presented are.
  • step A14 the method further includes:
  • the MTLF sends the information of the retrained first model to a sixth network element
  • the sixth network element is a network element that needs to use the first model for inference.
  • the sixth network element includes a model inference function network element.
  • MTLF Equivalently, after MTLF completes retraining the first model, it can also send the retrained first model to other AnLFs that need it, and the other AnLFs can use the first model.
  • the first network element when the first accuracy reaches the preset condition, instructs the second network element by sending the first information to the second network element. If the accuracy of a model does not meet the accuracy requirements or decreases, the second network element retrains the first model, so that when the accuracy of the model decreases, the first model can be retrained in a timely manner and quickly Restore accuracy in reasoning about tasks, preventing poor policy decisions from being made or inappropriate actions being performed.
  • the method further includes:
  • Step B14 The first network element sends third information to a fourth network element.
  • the third information is used to instruct the fourth network element to store the first data of the task.
  • the fourth network element is a slave.
  • the first network element is a network element that receives and stores the first data.
  • the AnLF may save the first data to a fourth network element, and the fourth network element includes a storage network element, which may be a data analysis repository network element (Analytics Data Repository Function, ADRF).
  • ADRF Analytics Data Repository Function
  • the third information includes at least one of the following:
  • Reason information is stored, for example, the accuracy of the first model does not meet the accuracy requirement or decreases.
  • the first information sent by AnLF to MTLF in step A13 also includes information of the fourth network element, such as the identification information of the ADRF.
  • Step B15 The MTLF obtains the first data from the ADRF according to the first information. Specifically, the MTLF may send data request information of the first data to the ADRF to indicate the data range requested to be obtained; wherein, The above data request information includes at least one of the following information:
  • the data request information may also include a reason for the request, for example, the first model needs to be retrained, or the accuracy of the first model does not meet accuracy requirements or has declined.
  • the fourth network element may also be used to store information of the first model.
  • the method further includes:
  • Step B16 The second network element stores the information of the retrained first model in the fourth network element.
  • the fourth network element may also save the applicable condition information of the retrained first model and the third accuracy of the retrained first model.
  • AnLF may obtain the retrained first model information from the fourth network element according to actual requirements.
  • the embodiments of the present application save the first data of the task through the fourth network element, so that when the accuracy of the model decreases, the relevant data corresponding to the task can be saved in a timely manner.
  • Re-training the first model enables the first model to be updated in time, quickly restore the accuracy of inference on the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • step A14 includes:
  • the second network element obtains second data of the first model according to the first information, where the second data is training data for retraining the first model;
  • the second network element retrains the first model based on the second data.
  • the second network element obtaining the second data of the first model according to the first information includes:
  • Step C14 The second network element determines the source device of the second data of the first model, that is, the inference data source device as shown in Figure 3;
  • Step C15 The second network element obtains the second data from the source device.
  • step C15 includes the second network element sending data request information to the source device, where the data request information is used to request the source device to provide the second data;
  • the data request information includes at least one of the following information:
  • the source device of the second data is determined by at least one of the following:
  • the second data includes the first data of the task, that is, it may include all Inference input data, inference result data and label data corresponding to the above tasks.
  • the second network element obtains the second data of the first model from the source device of the second data according to the first information for use in
  • the above-mentioned first model is retrained, so that the first model can be updated in time, quickly restore the accuracy of reasoning for the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the method further includes:
  • the first network element requests the fifth network element to obtain a second model.
  • the second model is a model provided by the fifth network element for the task.
  • the fifth network element includes a model training function network element, that is, the fifth network element may be other MTLF except the second network element.
  • the first network element performs inference on the task based on the second model to obtain new inference result data of the task.
  • the task for reasoning can be a task triggered by the task request message sent by consumer NF in step A3, or a task triggered by consumer NF re-sending the task request message.
  • the method further includes:
  • the first network element sends fourth information to the third network element, used to indicate that the accuracy of the first model does not meet the accuracy requirement or has declined.
  • the fourth information includes at least one of the following:
  • All or part of the description information of the task is used to indicate the task of using the first model for inference, which may specifically include: Analytics ID, Analytics filter information, analytics target, etc.;
  • Recommended operation information used to recommend to consumer NF the operation to be performed after receiving the first information
  • the waiting time information is used to indicate the time required for the first network element to resume inference on the task.
  • the AnLF can obtain the retrained first model and perform inference to obtain the inference result.
  • the recommended operation information includes at least one of the following operations:
  • Stop using the inference result data corresponding to the task that is, instruct the consumer NF to stop using the inference result data that has been obtained;
  • Retriggering the task to obtain new inference result data means instructing the consumer NF to resend the task request message.
  • consumer NF After receiving the first information, consumer NF can perform step A14 and perform corresponding operations according to the first information.
  • the consumer NF can perform at least one of the following operations based on the first information:
  • this operation can be performed when the decline in the first accuracy is small and does not exceed a preset amplitude threshold, such as a second threshold; in one implementation, If the inference result data corresponding to the task continues to be used, the weight of the inference result data in making strategic decisions can be appropriately reduced.
  • a preset amplitude threshold such as a second threshold
  • the seventh network element Resending the task request message to the seventh network element for requesting the seventh network element to perform inference on the task, wherein the seventh network element includes a model inference function network element, that is, the consumer NF can Other AnLFs other than the first network element send task request messages.
  • the seventh network element includes a model inference function network element, that is, the consumer NF can Other AnLFs other than the first network element send task request messages.
  • the embodiments of the present application send fourth information to the third network element when the first accuracy reaches the preset condition, and the fourth information is used to indicate that the The accuracy of the first model does not meet the accuracy requirements or decreases, so that the third network element performs corresponding operations, so as to monitor the accuracy of the model in the actual application process, and promptly notify the third network element when the accuracy decreases.
  • Network elements can take appropriate measures to prevent making wrong policy decisions or performing inappropriate operations.
  • the execution subject may be a model accuracy determination device.
  • the accuracy determination method of the model executed by the model accuracy determination apparatus is used as an example to illustrate the model accuracy determination apparatus provided by the embodiment of the present application.
  • the model accuracy determination device includes: an execution module 601 , a calculation module 602 and a transmission module 603 .
  • the execution module 601 is used to reason about the task based on the first model; the calculation module 602 is used to determine the first accuracy corresponding to the first model, and the first accuracy is used to indicate the first model The accuracy of the inference result of the task; the transmission module 603 is used to send the first information to the second network element when the first accuracy reaches the preset condition, and the first information is used to Indicates that the accuracy of the first model does not meet accuracy requirements or has declined; wherein the second network element is a network element that provides the first model.
  • the accuracy determination device of the model includes a model inference function network element.
  • the second network element includes a model training function network element.
  • the transmission module 603 is further configured to receive a model performance subscription request from the second network element, where the model performance subscription request is used to request monitoring of the accuracy of the first model.
  • the transmission module 603 is configured to obtain the inference result data corresponding to the task based on the first model; and obtain the label data corresponding to the inference result data.
  • the calculation module 602 is configured to calculate the first accuracy of the first model according to the inference result data and the label data.
  • the first accuracy may be used to indicate at least one of the following:
  • the embodiments of the present application determine the first accuracy corresponding to the first model by reasoning about the task based on the first model.
  • the first accuracy reaches the preset condition , sending the first information to the second network element, the first information being used to indicate that the accuracy of the first model does not meet the accuracy requirements or has declined, so that the accuracy of the model in actual application can be monitored, And when the accuracy drops, take corresponding measures in a timely manner to prevent making wrong strategic decisions or performing inappropriate operations.
  • the transmission module is further configured to receive second information from the second network element, where the second information includes the retrained first information. information about a model.
  • the first information includes at least one of the following:
  • Instruction information for re-requesting the model is used to request the acquisition of a model corresponding to the task.
  • the model can be the first model after retraining, or it can also be other models that can be used to reason about the task;
  • the first data of the task is used to retrain the first model
  • the fourth network element is a network element that receives and stores the first data from the first network element.
  • the first data includes at least one of the following:
  • the second information also includes at least one of the following:
  • the third accuracy of the retrained first model is used to indicate the accuracy of the model output results presented by the retrained first model in the training phase or the testing phase.
  • the transmission module is used for:
  • the transmission module is also used by the first network element to send the inference result data to the third network element, and the third network element
  • the network element is the network element that triggers the task.
  • the preset conditions include at least one of the following conditions:
  • the first accuracy is lower than a first threshold
  • the first accuracy is lower than the second accuracy
  • the first accuracy is lower than the second accuracy, and the difference from the second accuracy is greater than the second threshold
  • the second accuracy is used to indicate the accuracy of the first model in the training phase or the testing phase. How accurate the presented model output is.
  • the third network element includes a consumer network element.
  • the first information is sent to the second network element to indicate that the accuracy of the first model is not satisfactory.
  • the second network element is allowed to retrain the first model, so that when the accuracy of the model decreases, the first model can be retrained in a timely manner and the ability to infer the task can be quickly restored. Accuracy, preventing wrong policy decisions from being made or inappropriate actions being performed.
  • the transmission module is also configured for the first network element to send third information to the fourth network element, where the third information is used to instruct the fourth network element to store the task. First data.
  • the third information includes at least one of the following:
  • the fourth network element includes a storage network element.
  • the embodiments of the present application save the first data of the task through the fourth network element, so that when the accuracy of the model decreases, the relevant data corresponding to the task can be saved in a timely manner.
  • Re-training the first model enables the first model to be updated in time, quickly restore the accuracy of inference on the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the transmission module is also configured to request the fifth network element to obtain a second model, where the second model is obtained by the A model provided by the fifth network element for the task;
  • the execution module is used to reason about the task based on the second model.
  • the fifth network element includes a model training function network element.
  • the second network element obtains the second data of the first model from the source device of the second data according to the first information for use in
  • the above-mentioned first model is retrained, so that the first model can be updated in time, quickly restore the accuracy of reasoning for the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the method further includes:
  • the first network element sends fourth information to the third network element, used to indicate that the accuracy of the first model does not meet the accuracy requirement or has declined.
  • the fourth information includes at least one of the following:
  • the waiting time information is used to indicate the time required for the first network element to resume reasoning on the task.
  • the embodiments of the present application send fourth information to the third network element when the first accuracy reaches the preset condition, and the fourth information is used to indicate that the The accuracy of the first model does not meet the accuracy requirements or decreases, so that the third network element performs corresponding operations, so as to monitor the accuracy of the model in the actual application process, and promptly notify the third network element when the accuracy decreases.
  • Network elements can take appropriate measures to prevent making wrong policy decisions or performing inappropriate operations.
  • the accuracy determination device of the model in the embodiment of the present application may be an electronic device, such as an electronic device with an operating system, or may be a component in the electronic device, such as an integrated circuit or chip.
  • the electronic device may be a terminal or other devices other than the terminal.
  • terminals may include but are not limited to the types of terminals 11 listed above, and other devices may be servers, network attached storage (Network Attached Storage, NAS), etc., which are not specifically limited in the embodiment of this application.
  • the model accuracy determination device provided by the embodiments of the present application can implement each process implemented by the method embodiments of Figures 2 to 5, and achieve the same technical effect. To avoid duplication, details will not be described here.
  • the embodiment of the present application also provides another method for determining the accuracy of the model.
  • the execution subject of this method is a second network element, where the second network element includes a model training function network element.
  • the The method may be executed by software or hardware installed on the second network element. The method includes the following steps.
  • the second network element receives the first information from the first network element, where the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirement or has declined;
  • step S710 the method further includes:
  • the second network element sends a model performance subscription request to the first network element, where the model performance subscription request is used to request the first network element to monitor the accuracy of the first model.
  • the second network element retrains the first model according to the first information.
  • the first network element includes a model inference function network element.
  • the second network element includes a model training function network element.
  • the second network element sends second information to the first network element, where the second information includes the information of the retrained first model.
  • the first information includes at least one of the following:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the first accuracy is used to indicate the accuracy of the inference result of the first model on the task
  • the first data of the task is used to retrain the first model
  • the fourth network element is a network element that receives and stores the first data from the first network element.
  • step S720 includes:
  • the second network element obtains second data of the first model according to the first information
  • the second network element retrains the first model based on the second data.
  • the second information also includes at least one of the following:
  • the third accuracy of the retrained first model is used to indicate the accuracy of the model output results presented by the retrained first model in the training phase or the testing phase.
  • step S720 the method further includes:
  • the second network element sends the information of the retrained first model to a sixth network element, and the sixth network element is a network element that needs to use the first model for inference.
  • the sixth network element includes a model inference function network element.
  • the first accuracy may be used to indicate at least one of the following:
  • the steps S710-S720 can implement the method embodiments shown in Figure 2 and Figure 3, and obtain the same technical effect, and the repeated parts will not be described again here.
  • the embodiments of the present application receive first information from the first network element.
  • the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirements or has declined, and based on The first information retrains the first model, so that when the accuracy of the model decreases, the first model can be retrained in time to quickly restore the accuracy of reasoning for the task and prevent the wrong strategy from being made. Make decisions or perform inappropriate actions.
  • the second network element obtaining the second data of the first model according to the first information includes:
  • the second network element determines the source device of the second data of the first model
  • the second network element obtains the second data from the source device.
  • the second network element obtains the second data from the source device including:
  • the second network element sends data request information to the source device, where the data request information is used to request the source device to provide the second data;
  • the data request information includes at least one of the following information:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the source device of the second data is determined by at least one of the following:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the second network element obtains the second data of the first model from the source device of the second data according to the first information for use in
  • the above-mentioned first model is retrained, so that the first model can be updated in time, quickly restore the accuracy of reasoning for the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the second data includes first data of a task
  • the task is a task for the first network element to perform inference based on the first model.
  • the source device of the first data includes the fourth network element.
  • the first data includes at least one of the following:
  • the method further includes:
  • the second network element stores the information of the retrained first model in the fourth network element.
  • the fourth network element includes a storage network element.
  • the embodiments of the present application save the first data of the task through the fourth network element, so that when the accuracy of the model decreases, the relevant data corresponding to the task can be saved in a timely manner.
  • the first model can be updated in time, quickly restore the accuracy of reasoning for the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the execution subject may be a model accuracy determination device.
  • the accuracy determination method of the model executed by the model accuracy determination apparatus is used as an example to illustrate the model accuracy determination apparatus provided by the embodiment of the present application.
  • the accuracy determination device of the model includes: a transceiver module 801 and a training module 802.
  • the transceiver module 801 is configured to receive first information from the first network element, where the first information is used to indicate that the accuracy of the first model does not meet accuracy requirements or has declined; the training module 802 is configured to receive the first information according to the first network element. A piece of information is used to retrain the first model.
  • the transceiving module 801 is also configured to send a model performance subscription request to the first network element, where the model performance subscription request is used to request the first network element to monitor the accuracy of the first model.
  • the first network element includes a model inference function network element.
  • the second network element includes a model training function network element.
  • the transceiver module 801 is also configured to send second information to the first network element, where the second information includes the information of the retrained first model.
  • the first information includes at least one of the following:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the first accuracy is used to indicate the accuracy of the inference result of the first model on the task
  • the first data of the task is used to retrain the first model
  • the fourth network element is a network element that receives and stores the first data from the first network element.
  • transceiver module 801 is configured to obtain the second data of the first model according to the first information
  • the training module 802 is used to retrain the first model according to the second data.
  • the second information also includes at least one of the following:
  • the third accuracy of the retrained first model is used to indicate the accuracy of the model output results presented by the retrained first model in the training phase or the testing phase.
  • the transceiver module 801 is also configured to send the information of the retrained first model to a sixth network element.
  • the sixth network element is a network element that needs to use the first model for inference. .
  • the sixth network element includes a model inference function network element.
  • the first accuracy may be used to indicate at least one of the following:
  • the embodiments of the present application receive first information from the first network element.
  • the first information is used to indicate that the accuracy of the first model does not meet the accuracy requirements or has declined, and based on The first information retrains the first model, so that when the accuracy of the model decreases, the first model can be retrained in time to quickly restore the accuracy of reasoning for the task and prevent the wrong strategy from being made. Make decisions or perform inappropriate actions.
  • the transceiver module is used for:
  • the transceiver module is used to send data request information to the source device, and the data request information is used to request the source device to provide the second data;
  • the data request information includes at least one of the following information:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the source device of the second data is determined by at least one of the following:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the embodiments of the present application automatically obtain the second data of the first model from the source device of the second data based on the first information for retraining the first model. , so that the first model can be updated in time, quickly restore the accuracy of reasoning on the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the second data includes first data of a task
  • the task is a task for the first network element to perform inference based on the first model.
  • the source device of the first data includes the fourth network element, and the fourth network element is a network element that receives and stores the first data from the first network element.
  • the first data includes at least one of the following:
  • the transceiver module is further configured to store the information of the retrained first model in the fourth network element.
  • the fourth network element includes a storage network element.
  • the embodiments of the present application save the first data of the task through the fourth network element, so that when the accuracy of the model decreases, the relevant data corresponding to the task can be saved in a timely manner.
  • Re-training the first model enables the first model to be updated in time, quickly restore the accuracy of inference on the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the accuracy determination device of the model in the embodiment of the present application may be an electronic device, such as an electronic device with an operating system, or may be a component in the electronic device, such as an integrated circuit or chip.
  • the electronic device may be a terminal or other devices other than the terminal.
  • terminals may include but are not limited to the types of terminals 11 listed above, and other devices may be servers, network attached storage (Network Attached Storage, NAS), etc., which are not specifically limited in the embodiment of this application.
  • the model accuracy determination device provided by the embodiment of the present application can implement each process implemented by the method embodiment in Figure 7 and achieve the same technical effect. To avoid duplication, it will not be described again here.
  • the embodiment of the present application also provides another method for determining the accuracy of the model.
  • the execution subject of this method is the fourth network element, where the fourth network element includes a storage network element.
  • this method can It is executed by software or hardware installed on the fourth network element.
  • the method includes the following steps.
  • the fourth network element receives third information from the first network element.
  • the third information is used to instruct the fourth network element to store the first data of the task.
  • the task is for the first network element based on the first Modeling the task of reasoning;
  • the first data includes at least one of the following:
  • the third information includes at least one of the following:
  • step S910 the method further includes:
  • the fourth network element receives data request information from a second network element, and the second network element is the network element that provides the first model;
  • the fourth network element sends the first data of the task to the second network element.
  • the data request information includes at least one of the following information:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the method further includes:
  • the fourth network element receives the retrained first model information from the second network element.
  • the method further includes:
  • the fourth network element sends the information of the retrained first model to the first network element.
  • the first network element includes a model inference function network element.
  • the second network element includes a model training function network element.
  • the fourth network element includes a storage network element.
  • the step S910 can implement the method embodiment shown in Figure 4 and obtain the same technical effect, and the repeated parts will not be described again here.
  • the embodiments of the present application save the first data of the task through the fourth network element, so that when the accuracy of the model decreases, the relevant data corresponding to the task can be saved in a timely manner.
  • Re-training the first model enables the first model to be updated in time, quickly restore the accuracy of inference on the task, and prevent making wrong strategic decisions or performing inappropriate operations.
  • the execution subject may be a model accuracy determination device.
  • the accuracy determination method of the model executed by the model accuracy determination apparatus is used as an example to illustrate the model accuracy determination apparatus provided by the embodiment of the present application.
  • the model accuracy determination device includes: a communication module 1001 and a storage module 1002.
  • the communication module 1001 is configured to receive third information from the first network element.
  • the third information is used to indicate the first data of the storage task.
  • the task is a task for the first network element to perform inference based on the first model. ;
  • the storage module 1002 is used to save the first data of the task;
  • the first data includes at least one of the following:
  • the third information includes at least one of the following:
  • the communication module 1001 is also configured to receive data request information from a second network element, and the second network element is a network element that provides the first model;
  • the fourth network element sends the first data of the task to the second network element.
  • the data request information includes at least one of the following information:
  • Identification information of a task which is a task for the first network element to perform inference based on the first model
  • the communication module 1001 is also configured to receive the information of the retrained first model from the second network element.
  • the communication module 1001 is also configured to send the information of the retrained first model to the first network element.
  • the first network element includes a model inference function network element.
  • the second network element includes a model training function network element.
  • the accuracy determination device of the model includes a storage network element.
  • the embodiments of the present application can timely save the relevant data corresponding to the task when the accuracy of the model decreases, for use in analyzing the task.
  • the retraining of the first model enables the first model to be updated in time, quickly restoring the accuracy of reasoning for the task, and preventing wrong strategic decisions or inappropriate operations from being made.
  • the accuracy determination device of the model in the embodiment of the present application may be an electronic device, such as an electronic device with an operating system, or may be a component in the electronic device, such as an integrated circuit or chip.
  • the electronic device may be a terminal or other devices other than the terminal.
  • terminals may include but are not limited to the types of terminals 11 listed above.
  • Other devices may be servers, network attached storage (Network Attached Storage, NAS), etc., which are not specified in the embodiment of this application. limited.
  • the model accuracy determination device provided by the embodiment of the present application can implement each process implemented by the method embodiment in Figure 9 and achieve the same technical effect. To avoid duplication, it will not be described again here.
  • this embodiment of the present application also provides a communication device 1100, which includes a processor 1101 and a memory 1102.
  • the memory 1102 stores programs or instructions that can be run on the processor 1101, such as , when the communication device 1100 is a terminal, when the program or instruction is executed by the processor 1101, each step of the above-mentioned model accuracy determination method embodiment is implemented, and the same technical effect can be achieved.
  • the communication device 1100 is a network-side device, when the program or instruction is executed by the processor 1101, the steps of the above-mentioned model accuracy determination method embodiment are implemented, and the same technical effect can be achieved. To avoid duplication, they will not be described again here. .
  • the embodiment of the present application also provides a network side device.
  • the network side device 1200 includes: a processor 1201, a network interface 1202, and a memory 1203.
  • the network interface 1202 is, for example, a common public radio interface (CPRI).
  • CPRI common public radio interface
  • the network side device 1200 in this embodiment of the present invention also includes: instructions or programs stored in the memory 1203 and executable on the processor 1201.
  • the processor 1201 calls the instructions or programs in the memory 1203 to execute Figures 6 and 8
  • the method of executing each module shown in Figure 10 achieves the same technical effect. To avoid repetition, it will not be described in detail here.
  • Embodiments of the present application also provide a readable storage medium, with a program or instructions stored on the readable storage medium.
  • a program or instructions stored on the readable storage medium.
  • the processor is the processor in the terminal described in the above embodiment.
  • the readable storage medium includes computer readable storage media, such as computer read-only memory ROM, random access memory RAM, magnetic disk or optical disk, etc.
  • An embodiment of the present application further provides a chip.
  • the chip includes a processor and a communication interface.
  • the communication interface is coupled to the processor.
  • the processor is used to run programs or instructions to implement the accuracy determination method of the above model.
  • Each process of the embodiment can achieve the same technical effect, so to avoid repetition, it will not be described again here.
  • chips mentioned in the embodiments of this application may also be called system-on-chip, system-on-a-chip, system-on-chip or system-on-chip, etc.
  • Embodiments of the present application further provide a computer program/program product.
  • the computer program/program product is stored in a storage medium, and the computer program/program product is executed by at least one processor to achieve the accuracy determination of the above model.
  • Each process of the method embodiment can achieve the same technical effect, so to avoid repetition, it will not be described again here.
  • the embodiment of the present application also provides a model accuracy determination system, including: a network side device, the network side device includes a first network element, a second network element and a fourth network element, the first network element can
  • the second network element may be used to perform the steps of the accuracy determination method of the model as described above
  • the fourth network element may be used to perform the steps of the accuracy determination method of the model as described above. Steps of the method to determine the accuracy of the model.
  • the methods of the above embodiments can be implemented by means of software plus the necessary general hardware platform. Of course, it can also be implemented by hardware, but in many cases the former is better. implementation.
  • the technical solution of the present application can be embodied in the form of a computer software product that is essentially or contributes to the existing technology.
  • the computer software product is stored in a storage medium (such as a read-only memory). Memory, ROM)/Random-Access Memory (Random-Access Memory, RAM), magnetic disk, optical disk), including a number of instructions to make a terminal (can be a mobile phone, computer, server, air conditioner, or network equipment, etc. ) perform the methods described in various embodiments of this application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请公开了一种模型的准确度确定方法、装置及网络侧设备，属于移动通信领域，本申请实施例的模型的准确度确定方法包括：第一网元基于第一模型对任务进行推理；所述第一网元确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；其中，所述第二网元为提供所述第一模型的网元。

Description

模型的准确度确定方法、装置及网络侧设备
交叉引用
本发明要求在2022年03月07日提交中国专利局、申请号为202210224481.9、发明名称为“模型的准确度确定方法、装置及网络侧设备”的中国专利申请，和2022年08月09日提交中国专利局、申请号为202210958867.2、发明名称为“模型的准确度确定方法、装置及网络侧设备”的中国专利申请的优先权，该申请的全部内容通过引用结合在本发明中。
技术领域
本申请属于移动通信技术领域，具体涉及一种模型的准确度确定方法、装置及网络侧设备。
背景技术
在通信网络中，引入了一些网元用于进行智能化数据分析，并生成一些任务的数据分析结果(analytics)(或称之为推理数据结果)，该数据分析结果可以辅助网内外设备进行策略决策，目的在于利用人工智能(Artificial Intelligence，AI)方法提升设备策略决策的智能化程度。
网络数据分析功能(Network Data Analytics Function，NWDAF)可以基于训练数据进行AI或机器学习(Machine Learning，ML)模型训练，获取适用于某AI任务对应的模型。基于AI/ML模型对某AI任务的推理输入数据进行推理，获得某具体AI任务对应的推理结果数据。策略控制功能实体(Policy Control Function，PCF)基于推理结果数据执行智能的策略控制和计费(Policy Control and Charging，PCC)，例如根据用户业务行为的推理结果数据制定智能的用户驻留策略，提升用户的业务体验；或者，接入和移动管理功能(Access and Mobility Management Function，AMF)基于某AI任务的推理结果数据执行智能化的移动性管理操作，例如根据用户的移动轨迹的推理结果数据智能寻呼用户，提升寻呼可达率。
网内外设备根据AI数据分析结果做成正确的、优化的策略决策，前提是需要基于正确的数据分析结果的。倘若，数据分析结果的准确率比较低，其作为错误信息被提供给网内外设备参考，则最终会做成的错误的策略决策或执行不合适的操作。因此保证数据分析结果的准确度是必须的。
虽然模型在训练阶段的准确度(Accuracy in Training，AiT)满足了该模型的准确度需求，无法确定该模型在投入实际使用推理的准确度(Accuracy in Use，AiU)同样能达到的准确度需求，可能因为数据分布不同、模型泛化能力不足等原因而存在差距，导致该模型得到的推理结果数据的准确度比较低，在被提供给网内外设备参考时，容易做出错误的策略决策或执行不合适的操作。
发明内容
本申请实施例提供一种模型的准确度确定方法、装置及网络侧设备，能够解决模型得到的推理结果数据的准确度比较低的问题。
第一方面，提供了一种模型的准确度确定方法，应用于第一网元，该方 法包括：
第一网元基于第一模型对任务进行推理；
所述第一网元确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述第二网元为提供所述第一模型的网元。
第二方面，提供了一种模型的准确度确定装置，包括：
执行模块，用于基于第一模型对任务进行推理；
计算模块，用于确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
传输模块，用于在所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
其中，所述第二网元为提供所述第一模型的网元。
第三方面，提供了一种模型的准确度确定方法，应用于第二网元，该方法包括：
第二网元从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；
所述第二网元根据所述第一信息对所述第一模型重新进行训练。
第四方面，提供了一种模型的准确度确定装置，包括：
收发模块，用于从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；
训练模块，用于根据所述第一信息对所述第一模型重新进行训练。
第五方面，提供了一种模型的准确度确定方法，应用于第四网元，该方法包括：
第四网元从第一网元接收第三信息，所述第三信息用于指示所述第四网元存储任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
第六方面，提供了一种模型的准确度确定装置，包括：
通信模块，用于从第一网元接收第三信息，所述第三信息用于指示存储任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务；
存储模块，用于保存所述任务的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
第七方面，提供了一种网络侧设备，该网络侧设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所 述处理器执行时实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第五方面所述的方法的步骤。
第八方面，提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络侧设备包括第一网元，第二网元和第四网元，所述第一网元可用于执行如第一方面所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如第三方面所述的模型的准确度确定方法的步骤，所述第四网元可用于执行如第五方面所述的模型的准确度确定方法的步骤。
第九方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第五方面所述的方法的步骤。
第十方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第五方面所述的方法的步骤。
第十一方面，提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤，或者实现如第五方面所述的方法的步骤。
在本申请实施例中，通过第一网元基于第一模型对任务进行推理；确定所述第一模型对应的第一准确度；在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
附图说明
图1是本申请实施例可应用的一种无线通信系统的结构示意图；
图2是本申请实施例提供的模型的准确度确定方法的一种流程示意图；
图3是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图4是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图5是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图6是本申请实施例提供的模型的准确度确定装置的一种结构示意图；
图7是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图8是本申请实施例提供的模型的准确度确定装置的另一种结构示意图；
图9是本申请实施例提供的模型的准确度确定方法的另一种流程示意图；
图10是本申请实施例提供的模型的准确度确定装置的另一种结构示意图；
图11是本申请实施例提供的一种通信设备结构示意图；
图12为实现本申请实施例的一种网络侧设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实 施例。基于本申请中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”一般表示前后关联对象是一种“或”的关系。
值得指出的是，本申请实施例所描述的技术不限于长期演进型(Long Term Evolution，LTE)/LTE的演进(LTE-Advanced，LTE-A)系统，还可用于其他无线通信系统，诸如码分多址(Code Division Multiple Access，CDMA)、时分多址(Time Division Multiple Access，TDMA)、频分多址(Frequency Division Multiple Access，FDMA)、正交频分多址(Orthogonal Frequency Division Multiple Access，OFDMA)、单载波频分多址(Single-carrier Frequency Division Multiple Access，SC-FDMA)和其他系统。本申请实施例中的术语“系统”和“网络”常被可互换地使用，所描述的技术既可用于以上提及的系统和无线电技术，也可用于其他系统和无线电技术。以下描述出于示例目的描述了第5代移动通信技术(5th Generation Mobile Communication Technology，5G)系统，并且在以下大部分描述中使用5G术语，但是这些技术也可应用于5G系统应用以外的应用，如第6代(6thGeneration，6G)通信系统。
图1示出本申请实施例可应用的一种无线通信系统的框图。无线通信系统包括终端11和网络侧设备12。其中，终端11可以是手机、平板电脑(Tablet Personal Computer)、膝上型电脑(Laptop Computer)或称为笔记本电脑、个人数字助理(Personal Digital Assistant，PDA)、掌上电脑、上网本、超级移动个人计算机(ultra-mobile personal computer，UMPC)、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、机器人、可穿戴式设备(Wearable Device)、车载设备(VUE)、行人终端(PUE)、智能家居(具有无线通信功能的家居设备，如冰箱、电视、洗衣机或者家具等)、游戏机、个人计算机(personal computer，PC)、柜员机或者自助机等终端侧设备，可穿戴式设备包括：智能手表、智能手环、智能耳机、智能眼镜、智能首饰(智能手镯、智能手链、智能戒指、智能项链、智能脚镯、智能脚链等)、智能腕带、智能服装等。需要说明的是，在本申请实施例并不限定终端11的具体类型。网络侧设备12可以包括接入网设备或核心网设备，其中，接入网设备12也可以称为无线接入网设备、无线接入网(Radio Access Network,RAN)、无线接入网功能或无线接入网单元。接入网设备12可以包括基站、无线局域网(Wireless Local Area Network，WLAN)接入点或无线保真(Wireless Fidelity，WiFi)节点等，基站可被称为节点B、演进节点B(Evolved NodeB,eNB)、接入点、基收发机站(Base Transceiver Station，BTS)、无线电基站、无线电收发机、基本服务集(Basic Service Set，BSS)、扩展服务集(Extended Service Set，ESS)、家用B节点、家用演进型B节点、发送接收点(Transmitting Receiving Point，TRP)或所述领域中其他某个合适的术语，只要达到相同的技术效果，所述基站不限于特定技术词汇，需要说明的是，在本申请实施例中仅以5G 系统中的基站为例进行介绍，并不限定基站的具体类型。核心网设备可以包含但不限于如下至少一项：核心网节点、核心网功能、移动管理实体(Mobility Management Entity，MME)、接入移动管理功能(Access and Mobility Management Function，AMF)、会话管理功能(Session Management Function，SMF)、用户平面功能(User Plane Function，UPF)、策略控制功能(Policy Control Function，PCF)、策略与计费规则功能单元(Policy and Charging Rules Function，PCRF)、边缘应用服务发现功能(Edge Application Server Discovery Function，EASDF)、统一数据管理(Unified Data Management，UDM)，统一数据仓储(Unified Data Repository，UDR)、归属用户服务器(Home Subscriber Server，HSS)、集中式网络配置(Centralized network configuration，CNC)、网络存储功能(Network Repository Function，NRF)，网络开放功能(Network Exposure Function，NEF)、本地NEF(Local NEF，或L-NEF)、绑定支持功能(Binding Support Function，BSF)、应用功能(Application Function，AF)等。需要说明的是，在本申请实施例中仅以5G系统中的核心网设备为例进行介绍，并不限定核心网设备的具体类型。
下面结合附图，通过一些实施例及其应用场景对本申请实施例提供的模型的准确度确定方法、装置及网络侧设备进行详细地说明。
如图2所示，本申请实施例提供了一种模型的准确度确定方法，该方法的执行主体包括第一网元，所述第一网元包括模型推理功能网元，换言之，该方法可以由安装在第一网元的软件或硬件来执行。所述方法的包括以下步骤。
S210、第一网元基于第一模型对任务进行推理。
在一种实施方式中，所述第一网元可以为同时具有模型推理功能和模型训练功能的网元，例如所述第一网元为NWDAF，所述NWDAF可以包括分析逻辑功能网元(Analytics Logical Function，AnLF)和模型训练逻辑网元(Model Training Logical Function，MTLF)。
在另一种实施方式中，所述第一网元包括模型推理功能的网元，第二网元包括模型训练功能网元，例如所述第一网元为AnLF，所述第二网元为MTLF。
若以NWDAF为第一网元，则下述实施例中的第二网元与第一网元可以为同一网元，即所述MTLF和AnLF合并为NWDAF。
应理解的是，所述第一模型可以根据实际的需要进行构建和训练，例如AI/ML模型。由MTLF采集训练数据，并基于所述训练数据进行模型训练。在训练完成后，MTLF将训练后的第一模型的信息发送至AnLF。
AnLF在确定触发的任务后，基于所述第一模型对所述任务进行推理，得到推理结果数据。
应理解的是，所述任务是数据分析任务，用于指示一种任务类型而非单次任务，在触发所述任务后，AnLF可以根据所述任务的标识信息(Analytics ID)等，确定与所述任务对应的第一模型，然后基于对应的第一模型对所述任务进行推理，得到推理结果数据。例如，若所述任务的Analytics ID＝UE mobility，用于预测终端(也称为用户设备(User Equipment，UE))的移动轨迹，则AnLF可基于与UE mobiltiy对应的第一模型对任务进行推理，得到的推理结果数据为预测的终端位置(UE location)信息。
AnLF可以基于第一模型对任务进行一次或多次推理，以得到多个推理 结果数据，或包括多个输出结果值的推理结果数据。
在一种实施方式中，所述AnLF对任务进行推理的执行可以由第三网元发送任务请求消息来触发，所述第三网元为触发所述任务的网元，所述第三网元可以包括消费者网元(consumer Network Function，consumer NF)，所述消费者网元可以是5G系统的网元，也可以是终端或第三方应用功能(Application Function，AF)等。
在另一种实施方式中，所述任务也可以是由AnLF主动触发，例如，通过设置一个验证测试阶段，在所述验证测试阶段中由AnLF主动模拟触发任务，用于测试所述第一模型的准确度。
为了简便起见，在下面的实施例中均以AnLF为第一网元，MTLF为第二网元，consumer NF为第三网元为例进行举例说明。
S220、所述第一网元确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度。
AnLF在完成对所述任务的推理后，计算推理过程中所述第一模型对应的第一准确度，所述第一准确度为AiU，计算第一准确度的方式可以多种多样，本申请实施例仅给出了其中的一种具体实施方式。所述步骤S220包括：
所述第一网元基于所述第一模型获取所述任务对应的推理结果数据；
所述第一网元获取所述推理结果数据对应的标签数据，所述标签数据可以从所述标签数据来源设备获取，在一种实施方式中，所述标签数据是指数据真实值(ground truth)，也即实际发生的事实和数据；
所述第一网元根据所述推理结果数据和所述标签数据，计算所述第一模型的第一准确度，具体可以通过比较推理结果数据与对应的标签数据，来确定推理结果数据中正确结果的次数，将正确结果次数除以总次数作为所述第一准确度，公式表示如下：
第一准确度＝正确结果次数÷总次数
其中，所述正确结果可以表示推理结果数据与标签数据一致，或者，推理结果数据与标签结果数据之间的差距在允许范围内。
所述第一准确度的表现形式可以多种多样，不限于具体的百分比数值，例如90％，还可以是分类表达形式，例如高、中、低等，或者归一化后的数据，例如0.9。
本申请实施例中的第一准确度可以从正面，或从反面指示所述第一模型对所述任务的推理结果的准确程度，在一种实施方式中，所述第一准确度可以用于指示以下至少一项：
所述任务的推理结果的正确程度，例如可以通过计算第一模型对所述任务的推理结果的正确率从正面指示第一模型的准确程度；
所述任务的推理结果的错误程度，例如可以通过计算第一模型对所述任务的推理结果的错误率或推理误差从反面指示第一模型的准确程度。其中，推理误差的计算方法可以多种多样，例如可以是平均绝对误差(Mean Absolute Error，MAE)，均方误差(Mean Square Error，MSE)等。
在一种实施方式中，所述第一网元获取所述推理结果数据对应的标签数据包括：
所述第一网元确定所述任务对应的标签数据的来源设备；
所述第一网元从所述来源设备获取所述标签数据。
其中，所述标签数据的来源设备可以由AnLF根据所述第一模型的输出 数据的类型信息、所述任务的限定条件信息和对象信息等确定。
需要说明的是，步骤S220的触发条件可以多种多样，可以是由AnLF预设的，也可以从MTLF获取，例如通过向AnLF发送的模型性能订阅请求(Performance Monitoring)获取。
S230、在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；其中，所述第二网元为提供所述第一模型的网元。
AnLF根据第一准确度是否达到预设条件来判断所述第一模型的准确度是否满足准确度需求或出现下降。所述预设条件可以包括所述第一准确度小于预设阈值或下降幅度达到一定的程度。
AnLF在确定所述第一模型的准确度不满足准确度需求或下降时，则向提供所述第一模型的MTLF发送第一信息，用于告知MTLF所述第一模型的准确度不满足准确度需求或下降。
在一种实施方式中，所述第一网元也可以基于触发事件向所述第二网元发送第一信息，其中，所述触发事件可以包括第一网元完成第一准确度计算，或者到达特定的时间。
在另一种实施方式中，所述第一网元还可以基于预设的周期向所述第二网元发送第一信息。
需要说明的是，在基于触发事件或基于预设周期向所述第二网元发送第一信息的情况下，所述第一信息可用于指示以下至少一项：
所述第一模型的准确度；
所述第一模型的准确度满足准确度需求；
所述第一模型的准确度不满足准确度需求或下降。
MTLF在接收到所述第一信息后，则可以根据所述第一信息确定后续操作，例如MTLF可以对所述第一模型进行重新训练，或者重新选择一个可用于对所述任务进行推理的其他模型并发送给AnLF。其中，MTLF在选择的其他模型时可以要求其他模型满足一定的条件，所述一定的条件可以包括以下至少一项：其他模型的第二准确度高于第一模型的第二准确度；其他模型的第二准确度高于第一模型的第一准确度；其他模型的模型性能要求高于第一模型的模型性能要求。
在步骤S230之前，所述方法还包括：
所述第一网元从所述第二网元接收模型性能订阅请求，所述模型性能订阅请求用于请求所述第一网元监测所述第一模型的准确度。
需要说明的是，所述第一网元也可以在步骤S210或S220之前从第二网元接收所述模型性能订阅请求。
相应的，所述第一网元可以根据所述模型性能订阅请求向所述第二网元发送模型性能订阅响应消息(Model Performance Monitoring Notification)，所述模型性能订阅响应消息可以携带所述第一信息。
由上述实施例的技术方案可知，本申请实施例通过第一网元基于第一模型对任务进行推理；确定所述第一模型对应的第一准确度；在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图3所示，所述模型的准确度确定方法包括以下步骤。
所述MTLF预先对所述第一模型进行训练，训练过程可以包括步骤A1-A2。
步骤A1.MTLF从训练数据来源设备采集训练数据。
步骤A2.MTLF基于所述训练数据对第一模型进行训练。
步骤A5.在完成对所述第一模型的训练后，MTLF可以将训练后的第一模型的信息发送到AnLF。
在一种实施方式中，具体携带所述第一模型的信息的消息可以为Nnwdaf_MLModelProvision_Notify或Nnwdaf_MLModelInfo_Response消息。
在一种实施方式中，在步骤A5前，所述方法还包括:
步骤A4.AnLF向MTLF发送请求模型的消息。
在一种实施方式中，在步骤A2所述第一模型的训练阶段或者训练后的测试阶段中，MTLF需要评估所述第一模型的准确度，计算所述第一模型的第二准确度，即AiT。所述第二准确度可以采用与第一准确度相同的计算公式获取。具体地，MTLF可以设置一个验证数据集用于评估所述第一模型的第二准确度，该验证数据集中包括用于所述第一模型的输入数据和对应的标签数据，MTLF将输入数据输入训练后的第一模型得到输出数据，再比较输出数据与标签数据是否一致，进而根据上述公式计算得到所述第一模型的第二准确度。
相应地，在一种实施方式中，在步骤A5向AnLF发送所述第一模型的信息时，MTLF还可以同时发送所述第一模型的第二准确度，或者通过独立的消息向AnLF发送所述第一模型的第二准确度。
在一种实施方式中，所述请求模型的消息可以包括AnLF对第一模型的需求信息，例如：模型性能要求、模型描述格式或语言要求、产商要求、时效要求、区域要求，模型大小要求等。其中，所述模型性能要求可以对所述第一模型的第二准确度的要求。
相应地，在一种实施方式中，在步骤A5中MTLF向AnLF发送第一模型的信息时，还可以同时发送所述第一模型与需求信息对应的相关信息，例如第二准确度、模型的描述格式或语言、模型时效信息、适用区域信息、模型大小信息等。
在一种实施方式中，若所述任务由第三网元触发，则在步骤A4之前，所述方法还包括：
步骤A3.Consumer NF向所述AnLF发送任务请求消息，所述任务请求消息用于请求对所述任务进行推理，从而触发AnLF基于与所述任务对应的第一模型执行对所述任务的推理过程。
所述任务请求消息包含所述任务的描述信息，所述任务的描述信息可以多种多样，可以包括所述任务的标识信息、所述任务的限定条件信息(Analytics Filter Information)，所述任务的对象信息(Analytics Target)等。通过所述任务的描述信息可以确定所述任务所涉及的对象和范围等。
所述任务的限定条件信息用于限定所述任务执行的范围，可以包括时间范围和区域范围等。
所述任务的对象信息用于指明所述任务针对的对象，例如，某一终端标识(UE ID)，某一终端组标识(UE group ID)或者任意终端(any UE)
所述AnLF可以根据所述任务请求消息向MTLF请求模型，从所述MTLF获取第一模型的信息和所述第一模型的第二准确度。
在一种实施方式中，所述步骤A1-A2可以位于步骤A4之后，即MTLF在接收AnLF发送的请求模型的消息后，再对与所述任务对应的第一模型进行训练，并将训练后的第一模型的消息发送给AnLF。
在一种实施方式中，如图3所示，所述步骤S210包括步骤A6-A8。
步骤A6.AnLF根据接收到的任务请求消息，确定以下至少一种相关信息：
所述任务对应的第一模型；
所述第一模型的输入数据的类型信息；
所述第一模型的输出数据的类型信息；
所述任务对应的推理输入数据的来源设备；
所述任务对应的标签数据的来源设备。
其中，所述任务对应的第一模型，可以通过任务请求消息中的analytics ID指示的任务类型，来确定所述任务需要使用的第一模型；或者，可以通过analytics ID与第一模型的映射关系确定；其中，可用模型的标识信息(model ID)来表示第一模型，例如model 1。
所述第一模型的输入数据的类型信息也可以称为模型的元数据(metadata)信息，例如输入数据可以包括终端标识(UE ID)、时间和终端当前业务状态等。
所述第一模型的输出数据的类型信息包括数据类型(data type)，例如用于指示UE location的跟踪区域(Tracking Area，TA)或小区(cell)。
所述任务对应的推理输入数据的来源设备，具体可以由AnLF根据所述任务请求消息中的analytics filter information和analytics target等信息确定所述任务涉及的对象和范围，再根据对象和范围以及metadata信息，确定可获取所述任务对应的推理输入数据的网元作为所述任务对应的推理输入数据的来源设备。
所述任务对应的标签数据的来源设备，具体可以由AnLF根据所述第一模型的输出数据的类型信息确定可提供所述输出数据的网元设备类型(Network Functions Type，NF type)，再根据所述任务的限定条件信息和对象信息等确定该网元设备类型对应的具体网元实例(instance)，并将该网元实例作为标签数据的来源设备。例如，根据与任务UE mobility对应的第一模型的输出数据的数据类型＝UE location，AnLF确定可以由网元设备类型AMF type提供UE location的数据，AnLF再根据任务的限定条件信息AOI等、以及所述任务的对象UE1，从统一数据管理实体(Unified Data Management，UDM)或网络存储功能(Network Repository Function，NRF)查询对应的AMF instance是AMF 1，从而AnLF将AMF 1作为标签数据的来源设备，并后续从AMF1中获取UE location的标签数据。
步骤A7.AnLF获取所述任务对应的推理输入数据，具体可以由AnLF根据步骤A6中确定的所述任务的推理输入数据的来源设备发送推理输入数据的请求消息，用于采集所述任务对应的推理输入数据。
步骤A8.AnLF基于获取的第一模型，对所述任务的对应的推理输入数据进行推理，得到推理结果数据。
例如，AnLF基于与analytics ID＝UE mobility对应的第一模型，对与所述任务对应的推理输入数据，例如UE ID、时间、UE当前业务状态等数值，进 行推理，得到推理结果数据为UE location的输出数据。
在一种实施方式中，在基于所述第一模型获取所述任务对应的推理结果数据之后，所述方法还以包括：
步骤A9.所述第一网元向第三网元发送所述推理结果数据，即AnLF将经过推理得到的推理结果数据发送给consumer NF。
通过所述推理结果数据可用于告知consumer NF与analytics ID对应的第一模型通过推理得到的统计或预测值，用于辅助consumer NF执行相应的策略决策。例如，UE mobility对应的统计或预测值可用于辅助AMF进行用户寻呼优化。
在一种实施方式中，具体携带所述推理结果数据的消息可以为Nnwdaf_AnalyticsSubscription_Notify或Nnwdaf_AnalyticsInfo_Response消息。
步骤A10.AnLF获取与所述推理结果数据对应的标签数据。
在一种实施方式中，具体携带所述标签数据的消息可以为Nnf_EventExposure_Subscirbe消息。
具体地，AnLF可以通过向步骤A6中确定的标签数据的来源设备发送标签数据的请求消息，其中包括所述标签数据的类型信息、标签数据对应的对象信息、时间信息(例如时间戳、时间段)等，用于向所述标签数据的来源设备确定反馈哪些标签数据。
所述标签数据的请求消息中的标签数据的类型信息、标签数据对应的对象信息、时间信息等，可以分别由AnLF根据所述第一模型的输出数据的类型信息、所述任务的对象信息、和所述任务的限定条件信息等确定。具体地AnLF根据所述第一模型的输出数据的类型信息确定需要获取的标签数据的类型信息；AnLF根据所述任务的对象信息确定需要获取的标签数据的对象信息；若AnLF根据所述任务的限定条件信息确定所述任务的推理过程是针对过去某一时间所做的统计计算或未来某一时间所做的预测，则AnLF还需要获取所述过去某一时间或未来某一时间对应的标签数据。
例如，AnLF向AMF或位置管理功能(Location Management Function，LMF)发送标签数据的请求消息，其中携带标签数据对应的数据类型＝UE location，对象信息＝UE 1和时间信息＝某一具体时间段，用于请求AMF/LMF反馈UE1在某一具体时间段内的UE location的数据。
应理解的是，若步骤A8中，AnLF通过执行一次或多次推理过程获得了多个推理结果数据，则AnLF对应需要获取与所述多个推理结果数据对应的多个标签数据。
在一种实施方式中，如图3所示，所述步骤S220包括步骤A11-A12。
步骤A11.AnLF根据所述推理结果数据和标签数据，计算所述第一模型的第一准确度。
步骤A12.AnLF确定所述第一准确度是否满足预设条件，并且在所述第一准确度满足AnLF的情况下执行步骤A13。
所述预设条件可以根据实际的需要进行设定，在一种实施方式中，所述预设条件包括以下条件至少之一：
所述第一准确度低于第一阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第二阈值。
所述第一阈值的获取方式可以多种多样，所述第一阈值可以是由AnLF设置，也可以由MTLF设置，再作为判断条件或触发条件发送给AnLF。
在一种实施方式中，MTLF将其设置为在AnLF请求第一模型时所要求的模型性能要求值(Model Performance Requirement)。
在另一种实施方式中，可以是在第二网元向第一网元发送第一模型的信息时，随同所述第一模型的信息一起发送。
在另一种实施方式中，可以由所述第二网元向第一网元发送的模型性能订阅消息携带。
在一种实施方式中，如图3所示，所述步骤S230包括步骤A13。
步骤A13.AnLF向MTLF发送第一信息，所述第一信息用于通知MTLF所述第一模型的准确度不满足准确度需求或下降。
在一种实施方式中，所述第一信息具体可以通过Nnwdaf_AnalyticsSubscription_Notify消息发送。
在另一种实施方式中，AnLF还可以通过Model Performance Monitoring Notification向MTLF发送所述第一信息。
在另一种实施方式中，所述第一信息还可以用于向MTLF请求对所述第一模型进行重新训练或者用于重新请求模型。此时，所述第一信息具体可以通过Nnwdaf_MLModelProvision_Subscribe或Nnwdaf_MLModelInfo_Request消息发送。
在一种实施方式中，所述第一信息包括以下至少一项：
所述第一模型的标识信息，例如Model ID；
所述任务的标识信息，例如Analytics ID；
所述任务的限定条件信息，用于指示所述第一信息所涉及的范围，也即所述第一模型出现准确度不满足准确度需求或下降时所涉及的任务的对象和范围，包括：时间范围、区域范围和对象范围等；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
对所述第一模型进行重新训练的请求指示信息，用于指示MTLF对所述第一模型进行重新训练；
重新请求模型的指示信息，用于请求获取与所述任务对应的模型；
所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练。
在一种实施方式中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的输出结果数据；
所述任务对应的标签数据。
步骤A14.所述MTLF可以根据所述第一信息进入对所述第一模型的重训练过程，具体的训练过程与步骤A2中的训练过程基本相同，具体的区别在于训练数据中可以包括所述任务的第一数据。对所述第一模型的重新训练过程可以是基于训练数据，对初始化的第一模型重新进行模型训练，或者，基于训练数据对当前的第一模型进行训练以实现对第一模型的微调，从而可以更快得收敛，并节省资源。
在一种实施方式中，在所述MTLF完成对所述第一模型的重新训练后，所述方法还包括：
步骤A15.所述第一网元从所述第二网元接收第二信息，所述第二信息 包括重新训练后的第一模型的信息，即MTLF将重新训练后的第一模型的信息发送给AnLF，使所述AnLF恢复对所述任务的推理。
在一种实施方式中，所述第二信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息，所述适用条件信息可以包括所述第一模型针对的时间范围、区域范围和对象范围等；
所述重新训练后的第一模型的第三准确度，即重新训练后的第一模型的AiT，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
在另一种实施方式中，在步骤A14之后，所述方法还包括：
MTLF将所述重新训练后的第一模型的信息发送给第六网元，所述第六网元为需要使用所述第一模型进行推理的网元。其中，第六网元包括模型推理功能网元。
相当于，MTLF在完成对所述第一模型的重新训练后，还可以将重新训练后的第一模型发送给需要的其它AnLF，由其它AnLF使用所述第一模型。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，所述第一网元通过向第二网元发送第一信息指示所述第一模型的准确度不满足准确度需求或下降，使所述第二网元对所述第一模型进行重新训练，从而能够在模型的准确度下降时，及时对第一模型进行重新训练，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图4所示，所述方法还包括：
步骤B14.所述第一网元向第四网元发送第三信息，所述第三信息用于指示所述第四网元存储所述任务的第一数据，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
所述AnLF可以将所述第一数据保存到第四网元中，所述第四网元包括存储网元，可以为数据分析存储库网元(Analytics Data Repository Function，ADRF)。
在一种实施方式中，所述第三信息包括以下至少一项：
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据；
存储原因信息，例如所述第一模型的准确度不满足准确度需求或下降。
相应地，在步骤A13中AnLF发送给MTLF的第一信息中还包括第四网元的信息，例如所述ADRF的标识信息。
步骤B15.所述MTLF根据第一信息从所述ADRF获取所述第一数据，具体地，可以由MTLF向ADRF发送第一数据的数据请求信息，用于指示请求获取的数据范围；其中，所述数据请求信息包括以下至少一项信息：
任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
在一种实施方式中，所述数据请求信息中还可以包括请求原因，例如需要对第一模型进行重新训练，或者，所述第一模型的准确度不满足准确度需求或下降。
在一种实施方式中，所述第四网元还可以用于存储所述第一模型的信息，在步骤A14之后，所述方法还包括：
步骤B16.所述第二网元将所述重新训练后的第一模型的信息存储于所述第四网元。
所述第四网元还可以保存所述重新训练后的第一模型的适用条件信息和所述重新训练后的第一模型的第三准确度。
AnLF可根据实际的需求从所述第四网元获取重新训练后的第一模型的信息。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元保存所述任务的第一数据，从而能够在模型的准确度下降时，及时保存所述任务对应的相关数据，用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，如图5所示，所述步骤A14包括：
所述第二网元根据所述第一信息获取所述第一模型的第二数据，所述第二数据为对所述第一模型进行重新训练的训练数据；
所述第二网元根据所述第二数据对所述第一模型进行重新训练。
在一种实施方式中，所述第二网元根据所述第一信息获取所述第一模型的第二数据包括：
步骤C14.所述第二网元确定所述第一模型的第二数据的来源设备，即如图3所示的推理数据来源设备；
步骤C15.所述第二网元从所述来源设备获取所述第二数据。
在一种实施方式中，所述步骤C15包括所述第二网元向所述来源设备发送数据请求信息，所述数据请求信息用于请求所述来源设备提供所述第二数据；
其中，所述数据请求信息包括以下至少一项信息：
任务的标识信息；
所述任务的限定条件信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
在一种实施方式中，所述第二数据的来源设备由以下至少一项确定：
任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
在一种实施方式中，所述第二数据包括任务的第一数据，即可以包括所 述任务对应的推理输入数据、推理结果数据和标签数据。
由上述实施例所述的技术方案可见，本申请实施例通过所述第二网元根据所述第一信息自行从第二数据的来源设备获取所述第一模型的第二数据用于对所述第一模型进行重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述在所述第一准确度达到预设条件的情况下，所述方法还包括：
所述第一网元向第五网元请求获取第二模型，所述第二模型为由所述第五网元提供的用于所述任务的模型，具体过程可以参考步骤A4-A5。其中，所述第五网元包括模型训练功能网元，即所述第五网元可以为除所述第二网元外的其它MTLF。
所述第一网元基于所述第二模型对所述任务进行推理，得到所述任务新的推理结果数据。此时，进行推理的任务可以为根据步骤A3中consumer NF发送的任务请求消息触发的任务，也可以为consumer NF重新发送任务请求消息而触发的任务。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，通过从第五网元获取第二模型对任务进行推理得到新的推理结果数据，从而能够在模型的准确度下降时，及时采取相应的措施予以调整，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在所述第一准确度达到预设条件的情况下，所述方法还包括：
所述第一网元向第三网元发送第四信息，用于指示所述第一模型的准确度不满足准确度需求或下降。
在一种实施方式中，所述第四信息包括以下至少一项：
所述任务的描述信息的全部或部分信息，用于指示使用所述第一模型进行推理的任务，具体可以包括：Analytics ID、Analytics filter information、analytics target等；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
推荐操作信息，用于向consumer NF推荐在收到所述第一信息后执行的操作；
等待时间信息，所述等待时间信息用于指示所述第一网元恢复对所述任务进行推理所需要的时间，具体可以为所述AnLF获取重新训练后的第一模型并进行推理获取推理结果数据所需要等待的时间，或者，所述AnLF获取可用于执行所述任务的第二模型并进行推理获取推理结果数据所需要等待的时间。
在一种实施方式中，所述推荐操作信息包括以下至少一种操作：
继续使用所述任务对应的推理结果数据，即指示所述consumer NF可以继续使用已经获取的推理结果数据；
停止使用所述任务对应的推理结果数据，即指示所述consumer NF停止使用已经获取的推理结果数据；
重新触发所述任务以获取新的推理结果数据，即指示所述consumer NF重新所述发送任务请求消息。
在接收到所述第一信息后，consumer NF可以执行步骤A14，根据所述第一信息执行相应的操作。
具体地，所述consumer NF根据所述第一信息可以执行以下至少一种操作：
继续使用所述任务对应的推理结果数据，该操作可以在所述第一准确度的下降幅度较少，未超过预设幅度阈值，例如第二阈值的情况下执行；在一种实施方式中，若继续使用所述任务对应的推理结果数据，则可以适当减少所述推理结果数据对进行策略决策的权重。
停止使用所述任务对应的推理结果数据，该操作可以在所述第一准确度的下降幅度较大，已超过预设幅度阈值的情况下执行；
向所述第一网元重发所述任务请求消息，用于重新请求所述第一网元对所述任务进行推理；
向第七网元重发所述任务请求消息，用于请求所述第七网元对所述任务进行推理，其中，所述第七网元包括模型推理功能网元，即consumer NF可以向除第一网元外的其它AnLF发送任务请求消息。
由上述实施例所述的技术方案可见，本申请实施例通过在所述第一准确度达到预设条件的情况下，向第三网元发送第四信息，所述第四信息用于指示所述第一模型的准确度不满足准确度需求或下降，使第三网元执行相应操作，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时通知第三网元以采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图6所示，所述模型的准确度确定装置，包括：执行模块601、计算模块602和传输模块603。
所述执行模块601用于基于第一模型对任务进行推理；所述计算模块602用于确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；所述传输模块603用于在所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；其中，所述第二网元为提供所述第一模型的网元。
进一步地，所述模型的准确度确定装置包括模型推理功能网元。
进一步地，所述第二网元包括模型训练功能网元。
进一步地，所述传输模块603还用于从所述第二网元接收模型性能订阅请求，所述模型性能订阅请求用于请求监测所述第一模型的准确度。
进一步地，所述传输模块603用于基于所述第一模型获取所述任务对应的推理结果数据；获取所述推理结果数据对应的标签数据。
所述计算模块602用于根据所述推理结果数据和所述标签数据，计算所述第一模型的第一准确度。
进一步地，所述第一准确度可以用于指示以下至少一项：
所述任务的推理结果的正确程度；
所述任务的推理结果的错误程度。
本申请实施倒可以实现如图2所示的方法实施例，并得到相同的技术效 果，重复部分此处不再赘述。
由上述实施例的技术方案可知，本申请实施例通过基于第一模型对任务进行推理，确定所述第一模型对应的第一准确度，在所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在向第二网元发送第一信息之后，所述传输模块还用于从所述第二网元接收第二信息，所述第二信息包括重新训练后的第一模型的信息。
进一步地，所述第一信息包括以下至少一项：
所述第一模型的标识信息；
所述任务的标识信息；
所述任务的限定条件信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
对所述第一模型进行重新训练的请求指示信息；
重新请求模型的指示信息，用于请求获取与所述任务对应的模型，该模型可以为重新训练后的第一模型，也可以为其它可用于对所述任务进行推理的模型；
所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练；
第四网元的信息，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
进一步地，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的输出结果数据；
所述任务对应的标签数据。
进一步地，所述第二信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
进一步地，所述传输模块用于：
确定所述任务对应的标签数据的来源设备；
从所述来源设备获取所述标签数据。
进一步地，在基于所述第一模型获取所述任务对应的推理结果数据之后，所述传输模块还用于所述第一网元向第三网元发送所述推理结果数据，所述第三网元为触发所述任务的网元。
进一步地，所述预设条件包括以下条件至少之一：
所述第一准确度低于第一阈值；
所述第一准确度低于第二准确度；
所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第二阈值；
其中，所述第二准确度用于指示所述第一模型在训练阶段或测试阶段所 呈现的模型输出结果的准确程度。
进一步地，所述第三网元包括消费者网元。
本申请实施倒可以实现如图3所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例在所述第一准确度达到预设条件的情况下，通过向第二网元发送第一信息指示所述第一模型的准确度不满足准确度需求或下降，使所述第二网元对所述第一模型进行重新训练，从而能够在模型的准确度下降时，及时对第一模型进行重新训练，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述传输模块还用于所述第一网元向第四网元发送第三信息，所述第三信息用于指示所述第四网元存储所述任务的第一数据。
进一步地，所述第三信息包括以下至少一项：
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据；
存储原因信息。
进一步地，所述第四网元包括存储网元。
本申请实施倒可以实现如图4所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元保存所述任务的第一数据，从而能够在模型的准确度下降时，及时保存所述任务对应的相关数据，用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在所述第一准确度达到预设条件的情况下，所述传输模块还用于向第五网元请求获取第二模型，所述第二模型为由所述第五网元提供的用于所述任务的模型；
所述执行模块用于基于所述第二模型对所述任务进行推理。
进一步地，所述第五网元包括模型训练功能网元。
本申请实施倒可以实现上述方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过所述第二网元根据所述第一信息自行从第二数据的来源设备获取所述第一模型的第二数据用于对所述第一模型进行重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，在所述第一准确度达到预设条件的情况下，所述方法还包括：
所述第一网元向第三网元发送第四信息，用于指示所述第一模型的准确度不满足准确度需求或下降。
进一步地，所述第四信息包括以下至少一项：
所述任务的描述信息的全部或部分信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度；
推荐操作信息；
等待时间信息，所述等待时间信息用于指示所述第一网元恢复对所述任务进行推理所需要的时间。
本申请实施倒可以实现上述方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过在所述第一准确度达到预设条件的情况下，向第三网元发送第四信息，所述第四信息用于指示所述第一模型的准确度不满足准确度需求或下降，使第三网元执行相应操作，从而能够对模型在实际应用过程中的准确度进行监控，并在准确度下降时，及时通知第三网元以采取相应的措施，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型的准确度确定装置能够实现图2至图5的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
如图7所示，本申请实施例还提供了另一种模型的准确度确定方法，该方法的执行主体为第二网元，其中，第二网元包括模型训练功能网元，换言之，该方法可以由安装在第二网元的软件或硬件来执行。所述方法的包括以下步骤。
S710、第二网元从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；
进一步地，在步骤S710之前，所述方法还包括：
所述第二网元向所述第一网元发送模型性能订阅请求，所述模型性能订阅请求用于请求所述第一网元监测所述第一模型的准确度。
S720、所述第二网元根据所述第一信息对所述第一模型重新进行训练。
进一步地，所述第一网元包括模型推理功能网元。
进一步地，所述第二网元包括模型训练功能网元。
进一步地，所述第二网元向所述第一网元发送第二信息，所述第二信息包括重新训练后的第一模型的信息。
进一步地，所述第一信息包括以下至少一项：
所述第一模型的标识信息；
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
对所述第一模型进行重新训练的请求指示信息；
重新请求模型的指示信息，用于请求获取与所述任务对应的模型；
所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练；
第四网元的信息，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
进一步地，所述步骤S720包括：
所述第二网元根据所述第一信息获取所述第一模型的第二数据；
所述第二网元根据所述第二数据对所述第一模型进行重新训练。
进一步地，所述第二信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
进一步地，在步骤S720之后，所述方法还包括：
所述第二网元将所述重新训练后的第一模型的信息发送给第六网元，所述第六网元为需要使用所述第一模型进行推理的网元。
进一步地，所述第六网元包括模型推理功能网元。
进一步地，所述第一准确度可以用于指示以下至少一项：
所述任务的推理结果的正确程度；
所述任务的推理结果的错误程度。
所述步骤S710-S720可以实现如图2、图3所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降，并根据所述第一信息对所述第一模型重新进行训练，从而能够在模型的准确度下降时，及时对第一模型进行重新训练，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，所述第二网元根据所述第一信息获取所述第一模型的第二数据包括：
所述第二网元确定所述第一模型的第二数据的来源设备；
所述第二网元从所述来源设备获取所述第二数据。
进一步地，所述第二网元从所述来源设备获取所述第二数据包括：
所述第二网元向所述来源设备发送数据请求信息，所述数据请求信息用于请求所述来源设备提供所述第二数据；
其中，所述数据请求信息包括以下至少一项信息：
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
进一步地，所述第二数据的来源设备由以下至少一项确定：
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
本申请实施例可以实现如图5所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过所述第二网元根据所述第一信息自行从第二数据的来源设备获取所述第一模型的第二数据用于对所述第一模型进行重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述第二数据包括任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务。
进一步地，所述第一数据的来源设备包括所述第四网元。
进一步地，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
进一步地，在根据所述第一信息对所述第一模型重新进行训练之后，所述方法还包括：
所述第二网元将所述重新训练后的第一模型的信息存储于所述第四网元。
进一步地，所述第四网元包括存储网元。
本申请实施例可以实现如图4所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元保存所述任务的第一数据，从而能够在模型的准确度下降时，及时保存所述任务对应的相关数据，用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图8所示，所述模型的准确度确定装置，包括：收发模块801和训练模块802。
所述收发模块801用于从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；所述训练模块802用于根据所述第一信息对所述第一模型重新进行训练。
进一步地，所述收发模块801还用于向所述第一网元发送模型性能订阅请求，所述模型性能订阅请求用于请求所述第一网元监测所述第一模型的准确度。
进一步地，所述第一网元包括模型推理功能网元。
进一步地，所述第二网元包括模型训练功能网元。
进一步地，所述收发模块801还用于向所述第一网元发送第二信息，所述第二信息包括重新训练后的第一模型的信息。
进一步地，所述第一信息包括以下至少一项：
所述第一模型的标识信息；
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述第一模型的准确度不满足准确度需求或下降的指示信息；
所述第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
对所述第一模型进行重新训练的请求指示信息；
重新请求模型的指示信息，用于请求获取与所述任务对应的模型；
所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练；
第四网元的信息，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
进一步地，所述收发模块801用于根据所述第一信息获取所述第一模型的第二数据；
所述训练模块802用于根据所述第二数据对所述第一模型进行重新训练。
进一步地，所述第二信息还包括以下至少一项：
所述重新训练后的第一模型的适用条件信息；
所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
进一步地，所述收发模块801还用于元将所述重新训练后的第一模型的信息发送给第六网元，所述第六网元为需要使用所述第一模型进行推理的网元。
进一步地，所述第六网元包括模型推理功能网元。
进一步地，所述第一准确度可以用于指示以下至少一项：
所述任务的推理结果的正确程度；
所述任务的推理结果的错误程度。
由上述实施例所述的技术方案可见，本申请实施例通过从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降，并根据所述第一信息对所述第一模型重新进行训练，从而能够在模型的准确度下降时，及时对第一模型进行重新训练，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述收发模块用于：
确定所述第一模型的第二数据的来源设备；
从所述来源设备获取所述第二数据。
进一步地，所述收发模块用于向所述来源设备发送数据请求信息，所述数据请求信息用于请求所述来源设备提供所述第二数据；
其中，所述数据请求信息包括以下至少一项信息：
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
进一步地，所述第二数据的来源设备由以下至少一项确定：
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
由上述实施例所述的技术方案可见，本申请实施例根据所述第一信息自行从第二数据的来源设备获取所述第一模型的第二数据用于对所述第一模型进行重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
基于上述实施例，进一步地，所述第二数据包括任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务。
进一步地，所述第一数据的来源设备包括所第四网元，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
进一步地，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
进一步地，在根据所述第一信息对所述第一模型重新进行训练之后，所述收发模块还用于将所述重新训练后的第一模型的信息存储于所述第四网元。
进一步地，所述第四网元包括存储网元。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元保存所述任务的第一数据，从而能够在模型的准确度下降时，及时保存所述任务对应的相关数据，用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体限定。
本申请实施例提供的模型的准确度确定装置能够实现图7的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
如图9所示，本申请实施例还提供了另一种模型的准确度确定方法，该方法的执行主体为第四网元，其中，第四网元包括存储网元，换言之，该方法可以由安装在第四网元的软件或硬件来执行。所述方法的包括以下步骤。
S910、第四网元从第一网元接收第三信息，所述第三信息用于指示所述第四网元存储任务的第一数据，所述任务为所述第一网元基于第一模型进行 推理的任务；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
进一步地，所述第三信息包括以下至少一项：
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据；
存储原因信息。
进一步地，在步骤S910之后，所述方法还包括：
所述第四网元从第二网元接收数据请求信息，所述第二网元为提供所述第一模型的网元；
所述第四网元向所述第二网元发送所述任务的第一数据。
进一步地，所述数据请求信息包括以下至少一项信息：
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
进一步地，在向所述第二网元发送所述任务的第一数据之后，所述方法还包括：
所述第四网元从所述第二网元接收重训练后的第一模型的信息。
进一步地，在从所述第二网元接收重训练后的第一模型的信息之后，所述方法还包括：
所述第四网元向所述第一网元发送所述重训练后的第一模型的信息。
进一步地，所述第一网元包括模型推理功能网元。
进一步地，所述第二网元包括模型训练功能网元。
进一步地，所述第四网元包括存储网元。
所述步骤S910可以实现如图4所示的方法实施例，并得到相同的技术效果，重复部分此处不再赘述。
由上述实施例所述的技术方案可见，本申请实施例通过第四网元保存所述任务的第一数据，从而能够在模型的准确度下降时，及时保存所述任务对应的相关数据，用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例提供的模型的准确度确定方法，执行主体可以为模型的准确度确定装置。本申请实施例中以模型的准确度确定装置执行模型的准确度确定方法为例，说明本申请实施例提供的模型的准确度确定装置。
如图10所示，所述模型的准确度确定装置，包括：通信模块1001和存储模块1002。
所述通信模块1001用于从第一网元接收第三信息，所述第三信息用于指示存储任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务；所述存储模块1002用于保存所述任务的第一数据；
其中，所述第一数据包括以下至少一项：
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据。
进一步地，所述第三信息包括以下至少一项：
所述任务的标识信息；
所述任务的限定条件信息；
所述任务的对象信息；
所述任务对应的推理输入数据；
所述任务对应的推理结果数据；
所述任务对应的标签数据；
存储原因信息。
进一步地，所述通信模块1001还用于从第二网元接收数据请求信息，所述第二网元为提供所述第一模型的网元；
所述第四网元向所述第二网元发送所述任务的第一数据。
进一步地，所述数据请求信息包括以下至少一项信息：
任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
所述任务的限定条件信息；
所述任务的对象信息；
所述第一模型的标识信息；
所述第一模型的输入数据类型信息；
所述第一模型的输出数据类型信息。
进一步地，所述通信模块1001还用于从所述第二网元接收重训练后的第一模型的信息。
进一步地，所述通信模块1001还用于向所述第一网元发送所述重训练后的第一模型的信息。
进一步地，所述第一网元包括模型推理功能网元。
进一步地，所述第二网元包括模型训练功能网元。
进一步地，所述模型的准确度确定装置包括存储网元。
由上述实施例所述的技术方案可见，本申请实施例通过保存所述任务的第一数据，从而能够在模型的准确度下降时，及时保存所述任务对应的相关数据，用于对所述第一模型的重新训练，使第一模型能够及时更新，快速恢复对任务进行推理的准确性，防止做出错误的策略决策或执行不合适的操作。
本申请实施例中的模型的准确度确定装置可以是电子设备，例如具有操作系统的电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性的，终端可以包括但不限于上述所列举的终端11的类型，其他设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)等，本申请实施例不作具体 限定。
本申请实施例提供的模型的准确度确定装置能够实现图9的方法实施例实现的各个过程，并达到相同的技术效果，为避免重复，这里不再赘述。
可选的，如图11所示，本申请实施例还提供一种通信设备1100，包括处理器1101和存储器1102，存储器1102上存储有可在所述处理器1101上运行的程序或指令，例如，该通信设备1100为终端时，该程序或指令被处理器1101执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果。该通信设备1100为网络侧设备时，该程序或指令被处理器1101执行时实现上述模型的准确度确定方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
具体地，本申请实施例还提供了一种网络侧设备。如图12所示，该网络侧设备1200包括：处理器1201、网络接口1202和存储器1203。其中，网络接口1202例如为通用公共无线接口(common public radio interface，CPRI)。
具体地，本发明实施例的网络侧设备1200还包括：存储在存储器1203上并可在处理器1201上运行的指令或程序，处理器1201调用存储器1203中的指令或程序执行图6、图8和图10所示各模块执行的方法，并达到相同的技术效果，为避免重复，故不在此赘述。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的终端中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片，系统芯片，芯片系统或片上系统芯片等。
本申请实施例另提供了一种计算机程序/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现上述模型的准确度确定方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本申请实施例还提供了一种模型的准确度确定系统，包括：网络侧设备，所述网络侧设备包括第一网元，第二网元和第四网元，所述第一网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第二网元可用于执行如上所述的模型的准确度确定方法的步骤，所述第四网元可用于执行如上所述的模型的准确度确定方法的步骤。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请 实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如只读存储器(Read Only Memory，ROM)/随机存取存储器(Random-Access Memory，RAM)、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (54)

  1. 一种模型的准确度确定方法，包括：
    第一网元基于第一模型对任务进行推理；
    所述第一网元确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
    在所述第一准确度达到预设条件的情况下，所述第一网元向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
    其中，所述第二网元为提供所述第一模型的网元。
  2. 根据权利要求1所述的方法，其中，在所述第一网元向第二网元发送第一信息之前，所述方法还包括：
    所述第一网元从所述第二网元接收模型性能订阅请求，所述模型性能订阅请求用于请求所述第一网元监测所述第一模型的准确度。
  3. 根据权利要求1所述的方法，其中，在向第二网元发送第一信息之后，所述方法还包括：
    所述第一网元从所述第二网元接收第二信息，所述第二信息包括重新训练后的第一模型的信息。
  4. 根据权利要求1所述的方法，其中，所述第一网元确定所述第一模型对应的第一准确度包括：
    所述第一网元基于所述第一模型获取所述任务对应的推理结果数据；
    所述第一网元获取所述推理结果数据对应的标签数据；
    所述第一网元根据所述推理结果数据和所述标签数据，计算所述第一模型的第一准确度。
  5. 根据权利要求1或4所述的方法，其中，所述第一准确度可以用于指示以下至少一项：
    所述任务的推理结果的正确程度；
    所述任务的推理结果的错误程度。
  6. 根据权利要求1所述的方法，其中，所述第一信息包括以下至少一项：
    所述第一模型的标识信息；
    所述任务的标识信息；
    所述任务的限定条件信息；
    所述第一模型的准确度不满足准确度需求或下降的指示信息；
    所述第一准确度；
    对所述第一模型进行重新训练的请求指示信息；
    重新请求模型的指示信息，用于请求获取与所述任务对应的模型；
    所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练；
    第四网元的信息，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
  7. 根据权利要求1所述的方法，其中，所述方法还包括：
    所述第一网元向第四网元发送第三信息，所述第三信息用于指示所述第四网元存储所述任务的第一数据。
  8. 根据权利要求7所述的方法，其中，所述第三信息包括以下至少一项：
    所述任务的标识信息；
    所述任务的限定条件信息；
    所述任务的对象信息；
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务对应的标签数据；
    存储原因信息。
  9. 根据权利要求6-8任一项所述的方法，其中，所述第一数据包括以下至少一项：
    所述任务对应的推理输入数据；
    所述任务对应的输出结果数据；
    所述任务对应的标签数据。
  10. 根据权利要求3所述的方法，其中，所述第二信息还包括以下至少一项：
    所述重新训练后的第一模型的适用条件信息；
    所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
  11. 根据权利要求4所述的方法，其中，所述第一网元获取所述推理结果数据对应的标签数据包括：
    所述第一网元确定所述任务对应的标签数据的来源设备；
    所述第一网元从所述来源设备获取所述标签数据。
  12. 根据权利要求4所述的方法，其中，在基于所述第一模型获取所述任务对应的推理结果数据之后，所述方法还包括：
    所述第一网元向第三网元发送所述推理结果数据，所述第三网元为触发所述任务的网元。
  13. 根据权利要求1所述的方法，其中，所述预设条件包括以下条件至少之一：
    所述第一准确度低于第一阈值；
    所述第一准确度低于第二准确度；
    所述第一准确度低于第二准确度，且与所述第二准确度的差值大于第二阈值；
    其中，所述第二准确度用于指示所述第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
  14. 根据权利要求1所述的方法，其中，在所述第一准确度达到预设条件的情况下，所述方法还包括：
    所述第一网元向第五网元请求获取第二模型，所述第二模型为由所述第五网元提供的用于所述任务的模型；
    所述第一网元基于所述第二模型对所述任务进行推理。
  15. 根据权利要求1所述的方法，其中，在所述第一准确度达到预设条件的情况下，所述方法还包括：
    所述第一网元向第三网元发送第四信息，用于指示所述第一模型的准确度不满足准确度需求或下降。
  16. 根据权利要求15所述的方法，其中，所述第四信息包括以下至少一项：
    所述任务的描述信息的全部或部分信息；
    所述第一模型的准确度不满足准确度需求或下降的指示信息；
    所述第一准确度；
    推荐操作信息；
    等待时间信息，所述等待时间信息用于指示所述第一网元恢复对所述任务进行推理所需要的时间。
  17. 根据权利要求1所述的方法，其中，所述第一网元包括模型推理功能网元。
  18. 根据权利要求1所述的方法，其中，所述第二网元包括模型训练功能网元。
  19. 根据权利要求12所述的方法，其中，所述第三网元包括消费者网元。
  20. 根据权利要求6所述的方法，其中，所述第四网元包括存储网元。
  21. 根据权利要求14所述的方法，其中，所述第五网元包括模型训练功能网元。
  22. 一种模型的准确度确定装置，包括：
    执行模块，用于基于第一模型对任务进行推理；
    计算模块，用于确定所述第一模型对应的第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
    传输模块，用于在所述第一准确度达到预设条件的情况下，向第二网元发送第一信息，所述第一信息用于指示所述第一模型的准确度不满足准确度需求或下降；
    其中，所述第二网元为提供所述第一模型的网元。
  23. 一种模型的准确度确定方法，包括：
    第二网元从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；
    所述第二网元根据所述第一信息对所述第一模型重新进行训练。
  24. 根据权利要求23所述的方法，其中，在所述第二网元从第一网元接收第一信息之前，所述方法还包括：
    所述第二网元向所述第一网元发送模型性能订阅请求，所述模型性能订阅请求用于请求所述第一网元监测所述第一模型的准确度。
  25. 根据权利要求23所述的方法，其中，包括：
    所述第二网元向所述第一网元发送第二信息，所述第二信息包括重新训练后的第一模型的信息。
  26. 根据权利要求23所述的方法，其中，所述第一信息包括以下至少一项：
    所述第一模型的标识信息；
    任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
    所述任务的限定条件信息；
    所述第一模型的准确度不满足准确度需求或下降的指示信息；
    第一准确度，所述第一准确度用于指示所述第一模型对所述任务的推理结果的准确程度；
    对所述第一模型进行重新训练的请求指示信息；
    重新请求模型的指示信息，用于请求获取与所述任务对应的模型；
    所述任务的第一数据，所述第一数据用于对所述第一模型进行重新训练；
    第四网元的信息，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
  27. 根据权利要求26所述的方法，其中，所述第一准确度可以用于指示以下至少一项：
    所述任务的推理结果的正确程度；
    所述任务的推理结果的错误程度。
  28. 根据权利要求23所述的方法，其中，所述根据所述第一信息对所述第一模型重新进行训练包括：
    所述第二网元根据所述第一信息获取所述第一模型的第二数据；
    所述第二网元根据所述第二数据对所述第一模型进行重新训练。
  29. 根据权利要求28所述的方法，其中，所述第二网元根据所述第一信息获取所述第一模型的第二数据包括：
    所述第二网元确定所述第一模型的第二数据的来源设备；
    所述第二网元从所述来源设备获取所述第二数据。
  30. 根据权利要求29所述的方法，其中，所述第二网元从所述来源设备获取所述第二数据包括：
    所述第二网元向所述来源设备发送数据请求信息，所述数据请求信息用于请求所述来源设备提供所述第二数据；
    其中，所述数据请求信息包括以下至少一项信息：
    任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
    所述任务的限定条件信息；
    所述任务的对象信息；
    所述第一模型的标识信息；
    所述第一模型的输入数据类型信息；
    所述第一模型的输出数据类型信息。
  31. 根据权利要求29所述的方法，其中，所述第二数据的来源设备由以下至少一项确定：
    任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
    所述任务的限定条件信息；
    所述第一模型的标识信息；
    所述第一模型的输入数据类型信息；
    所述第一模型的输出数据类型信息。
  32. 根据权利要求28-30任一所述的方法，其中，所述第二数据包括任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务。
  33. 根据权利要求32所述的方法，其中，所述第一数据的来源设备包括第四网元，所述第四网元为从所述第一网元接收并存储所述第一数据的网元。
  34. 根据权利要求32所述的方法，其中，所述第一数据包括以下至少一项：
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务对应的标签数据。
  35. 根据权利要求25所述的方法，其中，所述第二信息还包括以下至少一项：
    所述重新训练后的第一模型的适用条件信息；
    所述重新训练后的第一模型的第三准确度，所述第三准确度用于指示所述重新训练后的第一模型在训练阶段或测试阶段所呈现的模型输出结果的准确程度。
  36. 根据权利要求23所述的方法，其中，在根据所述第一信息对所述第一模型重新进行训练之后，所述方法还包括：
    所述第二网元将所述重新训练后的第一模型的信息存储于第四网元。
  37. 根据权利要求23所述的方法，其中，在根据所述第一信息对所述第一模型重新进行训练之后，所述方法还包括：
    所述第二网元将所述重新训练后的第一模型的信息发送给第六网元，所述第六网元为需要使用所述第一模型进行推理的网元。
  38. 根据权利要求23所述的方法，其中，所述第一网元包括模型推理功能网元。
  39. 根据权利要求23所述的方法，其中，所述第二网元包括模型训练功能网元。
  40. 根据权利要求26所述的方法，其中，所述第四网元包括存储网元。
  41. 根据权利要求37所述的方法，其中，所述第六网元包括模型推理功能网元。
  42. 一种模型的准确度确定装置，包括：
    收发模块，用于从第一网元接收第一信息，所述第一信息用于指示第一模型的准确度不满足准确度需求或下降；
    训练模块，用于根据所述第一信息对所述第一模型重新进行训练。
  43. 一种模型的准确度确定方法，包括：
    第四网元从第一网元接收第三信息，所述第三信息用于指示所述第四网元存储任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务；
    其中，所述第一数据包括以下至少一项：
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务对应的标签数据。
  44. 根据权利要求43所述的方法，其中，所述第三信息包括以下至少一项：
    所述任务的标识信息；
    所述任务的限定条件信息；
    所述任务的对象信息；
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务对应的标签数据；
    存储原因信息。
  45. 根据权利要求43所述的方法，其中，在从第一网元接收第三信息之后，所述方法还包括：
    所述第四网元从第二网元接收数据请求信息，所述第二网元为提供所述 第一模型的网元；
    所述第四网元向所述第二网元发送所述任务的第一数据。
  46. 根据权利要求45所述的方法，其中，所述数据请求信息包括以下至少一项信息：
    任务的标识信息，所述任务为所述第一网元基于第一模型进行推理的任务；
    所述任务的限定条件信息；
    所述任务的对象信息；
    所述第一模型的标识信息；
    所述第一模型的输入数据类型信息；
    所述第一模型的输出数据类型信息。
  47. 根据权利要求45所述的方法，其中，在向所述第二网元发送所述任务的第一数据之后，所述方法还包括：
    所述第四网元从所述第二网元接收重训练后的第一模型的信息。
  48. 根据权利要求47所述的方法，其中，在从所述第二网元接收重训练后的第一模型的信息之后，所述方法还包括：
    所述第四网元向所述第一网元发送所述重训练后的第一模型的信息。
  49. 根据权利要求43所述的方法，其中，所述第一网元包括模型推理功能网元。
  50. 根据权利要求45所述的方法，其中，所述第二网元包括模型训练功能网元。
  51. 根据权利要求43所述的方法，其中，所述第四网元包括存储网元。
  52. 一种模型的准确度确定装置，包括：
    通信模块，用于从第一网元接收第三信息，所述第三信息用于指示存储任务的第一数据，所述任务为所述第一网元基于第一模型进行推理的任务；
    存储模块，用于保存所述任务的第一数据；
    其中，所述第一数据包括以下至少一项：
    所述任务对应的推理输入数据；
    所述任务对应的推理结果数据；
    所述任务对应的标签数据。
  53. 一种网络侧设备，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至21任一项所述的模型的准确度确定方法，或者实现如权利要求23至41任一项所述的模型的准确度确定方法，或者实现如权利要求43至51任一项所述的模型的准确度确定方法的步骤。
  54. 一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至21任一项所述的模型的准确度确定方法，或者实现如权利要求23至41任一项所述的模型的准确度确定方法，或者实现如权利要求43至51任一项所述的模型的准确度确定方法的步骤。
PCT/CN2023/080018 2022-03-07 2023-03-07 模型的准确度确定方法、装置及网络侧设备 Ceased WO2023169402A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP23765980.0A EP4488886A4 (en) 2022-03-07 2023-03-07 Method and device for determining model accuracy and network-side device
JP2024553731A JP7784003B2 (ja) 2022-03-07 2023-03-07 モデルの正確度決定方法及びネットワーク側機器
US18/827,235 US20240428141A1 (en) 2022-03-07 2024-09-06 Model Accuracy Determination Method and Network Side Device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN202210224481 2022-03-07
CN2022102244819 2022-03-07
CN202210958867.2A CN116776989A (zh) 2022-03-07 2022-08-09 模型的准确度确定方法、装置及网络侧设备
CN2022109588672 2022-08-09

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/827,235 Continuation US20240428141A1 (en) 2022-03-07 2024-09-06 Model Accuracy Determination Method and Network Side Device

Publications (1)

Publication Number Publication Date
WO2023169402A1 true WO2023169402A1 (zh) 2023-09-14

Family

ID=87935988

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/080018 Ceased WO2023169402A1 (zh) 2022-03-07 2023-03-07 模型的准确度确定方法、装置及网络侧设备

Country Status (4)

Country Link
US (1) US20240428141A1 (zh)
EP (1) EP4488886A4 (zh)
JP (1) JP7784003B2 (zh)
WO (1) WO2023169402A1 (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119808A (zh) * 2018-02-06 2019-08-13 华为技术有限公司 一种基于机器学习的数据处理方法以及相关设备
CN111629319A (zh) * 2019-02-28 2020-09-04 中国移动通信有限公司研究院 一种位置预测方法及设备
US20200401945A1 (en) * 2018-03-30 2020-12-24 Huawei Technologies Co., Ltd. Data Analysis Device and Multi-Model Co-Decision-Making System and Method
CN112883024A (zh) * 2018-04-27 2021-06-01 华为技术有限公司 一种模型更新方法、装置及系统
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10990850B1 (en) 2018-12-12 2021-04-27 Amazon Technologies, Inc. Knowledge distillation and automatic model retraining via edge device sample collection
WO2021059607A1 (ja) 2019-09-26 2021-04-01 富士フイルム株式会社 機械学習システムおよび方法、統合サーバ、情報処理装置、プログラムならびに推論モデルの作成方法
CN113128686A (zh) * 2020-01-16 2021-07-16 华为技术有限公司 模型训练方法及装置
JP7481902B2 (ja) * 2020-05-21 2024-05-13 株式会社日立製作所 管理計算機、管理プログラム、及び管理方法
US12328602B2 (en) * 2021-09-24 2025-06-10 Intel Corporation ML model management in O-RAN

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119808A (zh) * 2018-02-06 2019-08-13 华为技术有限公司 一种基于机器学习的数据处理方法以及相关设备
US20200401945A1 (en) * 2018-03-30 2020-12-24 Huawei Technologies Co., Ltd. Data Analysis Device and Multi-Model Co-Decision-Making System and Method
CN112883024A (zh) * 2018-04-27 2021-06-01 华为技术有限公司 一种模型更新方法、装置及系统
CN111629319A (zh) * 2019-02-28 2020-09-04 中国移动通信有限公司研究院 一种位置预测方法及设备
WO2021155579A1 (zh) * 2020-02-07 2021-08-12 华为技术有限公司 一种数据分析方法、装置及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4488886A4 *

Also Published As

Publication number Publication date
US20240428141A1 (en) 2024-12-26
JP7784003B2 (ja) 2025-12-10
JP2025507143A (ja) 2025-03-13
EP4488886A4 (en) 2025-06-11
EP4488886A1 (en) 2025-01-08

Similar Documents

Publication Publication Date Title
WO2023125879A1 (zh) 数据处理的方法、装置及通信设备
US20240428097A1 (en) Method and Apparatus for Determining Model Accuracy, and Network-Side Device
US20250063406A1 (en) Model acquisition method and communication device
WO2023186099A1 (zh) 信息反馈方法、装置及设备
CN116233906A (zh) 测量方法、装置、设备及存储介质
WO2023169392A1 (zh) 模型的准确度确定方法、装置及网络侧设备
WO2023213246A1 (zh) 模型选择方法、装置及网络侧设备
WO2023179709A1 (zh) 信息处理方法、装置、通信设备及可读存储介质
US20240428098A1 (en) Data Processing Method in Communication Network, and Network-Side Device
EP4633104A1 (en) Model training method, terminal, and network side device
WO2023169402A1 (zh) 模型的准确度确定方法、装置及网络侧设备
CN116776989A (zh) 模型的准确度确定方法、装置及网络侧设备
US20240428094A1 (en) Model accuracy determining method and apparatus, and network-side device
WO2024208348A1 (zh) 信息处理方法、装置及网元
US20250148297A1 (en) Federated learning method and apparatus, communication device, and readable storage medium
EP4593358A1 (en) Data acquisition method, apparatus and system, and device
US20250343740A1 (en) Information transmission method and apparatus, and device
CN116776988A (zh) 通信网络中的数据处理方法及网络侧设备
WO2024235043A1 (zh) 信息获取方法、装置及通信设备
WO2024061252A1 (zh) 信息获取方法、装置、网络侧设备及存储介质
CN120659045A (zh) 通信控制方法、通信控制装置和网络功能
CN119485457A (zh) 信息传输方法、装置、终端及网络侧设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23765980

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2024553731

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2023765980

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023765980

Country of ref document: EP

Effective date: 20241002

NENP Non-entry into the national phase

Ref country code: DE