CN121056335A - 通信方法及相关装置 - Google Patents

Abstract

一种通信方法及相关装置，涉及通信技术领域。该方法包括：向网络设备发送第一消息，第一消息用于请求网络设备部署第一模型，第一消息包括第一模型的识别信息和终端设备的资源信息；接收来自网络设备的第二消息，第二消息包括第一指示信息或第二指示信息，第一指示信息指示由网络设备独立执行第一模型的推理任务，第二指示信息指示由终端设备和网络设备联合执行推理任务，以及指示终端设备与网络设备分别部署第一模型中的第一子模型和第二子模型。本方法可以降低终端获得模型推理结果过程的传输时延。

Description

通信方法及相关装置

技术领域

本申请涉及通信技术领域，尤其涉及一种通信方法及相关装置。

背景技术

随着人工智能(Artificial Intelligence,AI)技术的发展，AI模型逐渐由传统小规模神经网络模型向基于Transformer的大规模神经网络模型演进。与此同时，基于大模型的终端应用不断涌现，如问答系统、文生图、文生视频等各类自然语言处理和多模态任务。

大模型具有大规模参数和复杂计算结构，与传统的模型相比，对于设备的计算能力和存储能力的要求较高。大模型一般存储和部署在应用服务器中，当用户需要使用基于大模型的终端应用时，用户终端通过网络将数据上传至应用服务器，应用服务器计算并返回结果给用户。在此过程中，用户使用终端应用，模型推理任务被执行，数据和结果在用户终端、网络和应用服务器之间传输，传输时延高。

发明内容

本申请实施例提供了一种通信方法及相关装置，可以降低终端获得模型推理结果过程的传输时延。

第一方面，本申请实施例提供了一种通信方法，应用于终端设备。可理解，该方法可以由通信装置执行，该通信装置可以是终端设备，也可以是用于终端设备的芯片(系统)或电路，本申请对此不作限定。该方法包括：

向网络设备发送第一消息，该第一消息用于请求网络设备部署第一模型，第一消息包括第一模型的识别信息和终端设备的资源信息；

接收来自网络设备的第二消息，该第二消息包括第一指示信息或第二指示信息，第一指示信息指示由网络设备独立执行第一模型的推理任务，第二指示信息指示由终端设备和网络设备联合执行该推理任务，以及指示终端设备与网络设备分别部署第一模型中的第一子模型和第二子模型。

本申请中，第一模型可以包括人工智能模型或机器学习模型。第一模型的识别信息可理解为指示该第一模型和识别该第一模型的信息，具体可以包括以下至少一项：第一模型的标识信息、指示第一模型的可获取方式的信息等。终端设备的资源信息可以包括终端设备的存储资源信息和计算资源信息，具体可以包括终端设备芯片的可用内存、终端设备芯片的计算能力等。

网络设备可基于第一模型的参数规模、模型结构等信息以及终端设备的存储资源、计算资源等资源信息，确定是否需要对第一模型进行拆分，若需要进行拆分则确定拆分得到的第一子模型和第二子模型，生成第一指示信息或第二指示信息。

本申请中，终端设备接收来自网络设备的第一指示信息或第二指示信息，由于该指示信息是网络设备根据第一模型和终端设备的资源信息得到的，该指示信息可指示由网络设备独立执行推理任务或由终端设备和网络设备联合执行推理任务，因此终端设备基于该指示信息获得的推理结果不是来自第一模型所在的服务设备。推理所需的数据也无需再传输给服务设备，因此在终端设备使用第一模型获得推理结果的过程中可降低传输时延。当进行多次推理时，能大幅度降低传输时延。该通信方法可以支持大模型的分布式部署，实现将大模型转移部署在网络设备或部署在网络设备和终端设备中，支持网络设备独立推理、网络设备和终端设备独立推理等多种推理方式，拓展终端可承载模型规模。

在一种可能的实施方式中，在向网络设备发送第一消息之前，还包括：

基于所述第一模型和所述终端设备的资源信息确定所述终端设备能否独立执行所述推理任务；

所述向网络设备发送第一消息，包括：

在所述终端设备不能独立执行所述推理任务的情况下，向所述网络设备发送所述第一消息。

在本申请实施方式中，终端设备基于第一模型的参数规模等信息以及该终端设备的存储资源信息和计算资源信息确定能否独立执行该第一模型的推理任务。若确定不能独立执行推理任务，终端设备可请求网络设备部署第一模型，并确定是否要拆分部分模型部署在终端设备中，这样可以实现网络侧独立执行推理任务或网络侧和终端侧协同执行推理任务，不必再从服务设备获得推理结果，降低了传输时延。

在一种可能的实施方式中，在基于所述第一模型和所述终端设备的资源信息确定所述终端设备能否独立执行所述推理任务之前，还包括：

接收第三消息，所述第三消息包括所述第一模型和所述第一模型的识别信息。

在由终端设备触发第一模型的转移部署的场景下，该第三消息可以是第一模型所在的服务设备下发的，终端设备接收到第三消息后，可基于第一模型和自身资源信息确定能否独立完成推理任务，从而可以在终端设备自身资源不足的情况下，使第一模型能部分或完全部署至网络设备中，降低后续获得推理结果的传输时延。当第一模型部署在网络设备和终端设备中时，还可以利用终端设备的资源，提高终端设备的资源利用率，进一步降低传输时延。

在一种可能的实施方式中，在向网络设备发送第一消息之前，还包括：

接收第四消息，所述第四消息包括所述网络设备中执行所述推理任务的第一网元的标识信息和所述第一模型的识别信息；

所述向网络设备发送第一消息，包括：

响应于所述第四消息，向所述网络设备发送所述第一消息，所述网络设备为所述第一网元。

其中，第一网元可以为RAN域的MIF、核心网中的NWDAF等，也可以是EMS或NMS等，第一网元的标识信息可以包括以下至少一项：第一网元的IP地址；第一网元所在的子网标识和第一网元对应的子网内唯一标识；在全网内能够唯一指示该第一网元的ID信息等。

在本申请实施方式中，终端设备接收第四消息后，可将自身资源信息发送给网络设备，使得网络设备基于终端设备的资源信息和第一模型生成第一指示信息或第二指示信息，明确后续由网络设备还是网络设备和终端设备执行第一模型的推理任务，实现将第一模型全部或部分部署在网络设备中，终端设备不必再从服务设备获得推理结果，可降低传输时延，提高服务效率。

在一种可能的实施方式中，所述方法还包括：

向所述第一模型所在的服务设备发送第五消息，所述第五消息包括所述第一指示信息或所述第二指示信息。

在本申请实施方式中，终端设备接收来自网络设备的第二信息后，向服务设备发送第五消息，可以向服务设备反馈第一模型已转移部署在网络设备中，并反馈后续执行推理任务的主体和实际执行推理任务的第一网元，以便于服务设备获知相关信息，不必在后续再执行第一模型的推理任务，从而可不必从服务设备获得推理结果，降低传输时延。

在一种可能的实施方式中，所述第二消息还包括所述网络设备中执行所述推理任务的第一网元的标识信息。

在一种可能的实施方式中，所述方法还包括：

在所述第二消息包括所述第一指示信息的情况下，向所述网络设备发送第六消息，所述第六消息用于请求所述网络设备独立执行所述推理任务，所述第六消息包括执行所述推理任务需要输入的第一数据；

接收第一推理结果，所述第一推理结果是基于所述第一数据得到的。

在本申请实施方式中，终端设备将第一数据发送给网络设备，使得网络设备基于第一数据和第一模型进行推理，获得第一推理结果并反馈给终端设备。该过程由网络设备独立完成推理任务，无需将数据发给服务设备和从服务设备获得推理结果，降低了整个推理过程的传输时延。

在一种可能的实施方式中，所述方法还包括：

在所述第二消息包括所述第二指示信息的情况下，向所述网络设备发送第七消息，所述第七消息用于请求所述终端设备与所述网络设备联合执行所述推理任务，所述第七消息包括第二数据；所述第二数据是所述终端设备基于所述第一子模型对所述第一数据进行推理得到的，或者，所述第二数据是对所述第一数据进行预处理得到的，所述第一数据是执行所述推理任务需要输入的数据。

在本申请实施方式中，终端设备将第二数据发送给网络设备，终端设备和网络设备联合执行推理任务，获得推理结果，无需将数据发给服务设备和从服务设备获得推理结果，降低了整个推理过程的传输时延。

在一种可能的实施方式中，所述方法还包括：

在所述第二指示信息指示所述网络设备基于所述第二子模型得到的推理结果为中间层特征的情况下，基于所述第一子模型对所述第二数据进行推理，得到第三数据；

接收来自所述网络设备的第四数据，所述第四数据是所述网络设备基于所述第二子模型对所述第二数据进行推理得到的；

基于所述第三数据和所述第四数据得到第二推理结果。

在本申请实施方式中，终端设备和网络设备基于第二指示信息，确定联合执行推理任务的具体流程，终端设备和网络设备分别利用第一子模型和第二子模型进行部分推理，获得最终推理结果。这样无需将数据发给服务设备和从服务设备获得推理结果，降低了整个推理过程的传输时延。由于终端设备参与推理，可利用终端设备的资源，提高了资源利用率。终端设备和网络设备各自进行独立推理，可降低推理所需时间，提高推理效率。

在一种可能的实施方式中，所述第一模型包括人工智能模型或机器学习模型。

在本申请实施方式中，可实现对大模型的分布式部署，支持网络侧推理、网络侧与终端侧协同推理等多种推理方式，可降低传输时延。

第二方面，本申请实施例提供了一种通信方法，应用于网络设备。可理解，该方法可以由通信装置执行，该通信装置可以是网络设备，也可以是用于网络设备的芯片(系统)或电路，本申请对此不作限定。该方法包括：

接收来自终端设备的第一消息，第一消息用于请求网络设备部署第一模型，第一消息包括第一模型的识别信息和终端设备的资源信息；

基于第一模型和终端设备的资源信息，生成第二消息，第二消息包括第一指示信息或第二指示信息，第一指示信息指示由网络设备独立执行第一模型的推理任务，第二指示信息指示由终端设备和网络设备联合执行推理任务，以及指示终端设备和网络设备分别部署第一模型中的第一子模型和第二子模型；

向终端设备发送第二消息。

本申请中，网络设备根据第一模型和终端设备的资源信息，生成第一指示信息或第二指示信息，使得第一模型部署在网络设备或部署在网络设备和终端设备中，相应的，由网络设备独立执行推理任务或由终端设备和网络设备联合执行推理任务，推理所需的数据和获得的推理结果无需再传输给第一模型所在的服务设备，从而在终端设备使用第一模型获得推理结果的过程中降低了传输时延。当进行多次推理时，能大幅度降低传输时延。

在一种可能的实施方式中，在接收来自终端设备的第一消息之前，还包括：

向所述终端设备发送第四消息，所述第四消息用于获取所述终端设备的资源信息，所述第四消息包括所述网络设备中执行所述推理任务的第一网元的标识信息、所述第一模型的识别信息。

本申请实施方式中，网络设备向终端设备发送第四消息，可使得终端设备将自身资源信息发送给网络设备，网络设备基于终端设备的资源信息和第一模型生成第一指示信息或第二指示信息，明确后续由网络设备还是网络设备和终端设备执行第一模型的推理任务，实现将第一模型全部或部分部署在网络设备中，使得终端设备不必再从服务设备获得推理结果，可降低传输时延，提高服务效率。

在一种可能的实施方式中，在接收来自终端设备的第一消息之前，还包括：向所述第一模型所在的服务设备发送第八消息，所述第八消息包括所述网络设备中执行所述推理任务的第一网元的标识信息。

本申请实施方式中，该第一网元是由网络设备事先确定的，网络设备向服务设备反馈该第一网元的标识信息，可使得服务设备能获知网络设备中处理第一模型的部署和推理事项的网元，以便于后续服务设备能不必再执行第一模型的推理任务，降低推理传输时延。

在一种可能的实施方式中，所述方法还包括：接收第三消息，所述第三消息包括所述第一模型和所述第一模型的识别信息。

本申请实施方式中，网络设备接收第三消息后，可存储或调用第一模型，获取终端设备的资源信息，生成第一指示信息或第二指示信息，实现将第一模型部分或完全部署至网络设备中，降低后续获得推理结果的传输时延。当第一模型部署在网络设备和终端设备中时，还可以利用终端设备的资源，提高终端设备的资源利用率，进一步降低传输时延。

在一种可能的实施方式中，所述第一消息还包括所述第一模型。

在一种可能的实施方式中，所述方法还包括：

基于所述第一模型的识别信息确定在所述网络设备中是否已存储所述第一模型；

在所述网络设备中未存储所述第一模型的情况下，存储所述第一模型；

在所述网络设备中已存储所述第一模型的情况下，调用所述第一模型；

确定所述网络设备中执行所述第一模型的推理任务的第一网元。

在一种可能的实施方式中，所述方法还包括：

在所述第二消息包括所述第一指示信息的情况下，接收来自终端设备的第六消息，所述第六消息用于请求所述网络设备独立执行所述推理任务，所述第六消息包括执行所述推理任务需要输入的第一数据；

基于所述第一数据独立执行所述推理任务，获得第一推理结果；

向所述终端设备发送所述第一推理结果。

在一种可能的实施方式中，所述方法还包括：

在所述第二消息包括所述第二指示信息的情况下，接收来自终端设备的第七消息，所述第七消息用于请求所述终端设备与所述网络设备联合执行所述推理任务，所述第七消息包括第二数据；所述第二数据是所述终端设备基于所述第一子模型对所述第一数据推理得到的，或者，所述第二数据是所述终端设备对所述第一数据进行预处理得到的，所述第一数据是执行所述推理任务需要输入的数据。

在一种可能的实施方式中，所述方法还包括：

基于所述第二子模型对所述第二数据进行推理得到第四数据；

向所述终端设备发送所述第四数据。

本申请实施例中，网络设备基于第二指示信息，确定联合执行推理任务的具体流程，和终端设备分别利用第二子模型和第一子模型进行部分推理，获得最终推理结果。这样无需将数据发给服务设备和从服务设备获得推理结果，降低了整个推理过程的传输时延。由于终端设备参与推理，可利用终端设备的资源，提高了资源利用率。终端设备和网络设备各自进行独立推理，可降低推理所需时间，提高推理效率。

第三方面，本申请实施例提供了一种通信装置，该装置包括用于执行如第一方面任一项所述方法的单元。

在一种可能的设计中，该装置包括：

通信单元，用于向网络设备发送第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

所述通信单元，还用于接收来自所述网络设备的第二消息，所述第二消息包括第一指示信息或第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备与所述网络设备分别部署所述第一模型中的第一子模型和第二子模型。

在一种可能的实施方式中，该装置还包括：

处理单元，用于生成所述第一消息。

关于第三方面以及任一项可能的实施方式所述的处理单元和通信单元，其执行的步骤可参考对应于第一方面以及相应的实施方式。

关于第三方面以及任一项可能的实施方式所带来的技术效果，可参考对应于第一方面以及相应的实施方式的技术效果的介绍。

第四方面，本申请实施例提供了一种通信装置，该装置包括用于执行如第二方面任一项所述方法的单元。

在一种可能的设计中，该装置包括：

通信单元，用于接收来自终端设备的第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

所述通信单元，还用于向所述终端设备发送所述第二消息；

处理单元，用于基于所述第一模型和所述终端设备的资源信息，生成第二消息，所述第二消息包括所述第一指示信息或所述第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备和所述网络设备分别部署所述第一模型中的第一子模型和第二子模型。

关于第四方面以及任一项可能的实施方式所述的处理单元和通信单元，其执行的步骤可参考对应于第二方面以及相应的实施方式。

关于第四方面以及任一项可能的实施方式所带来的技术效果，可参考对应于第二方面以及相应的实施方式的技术效果的介绍。

可选的，在上述第三方面至第四方面任一方面以及任一项可能的实施方式所述的通信装置中：

在一种实现方式中，该通信装置为通信设备。当该通信装置为通信设备时，通信单元可以是收发器，或，输入/输出接口；处理单元可以是至少一个处理器。可选地，收发器可以为收发电路。可选地，输入/输出接口可以为输入/输出电路。

在另一种实现方式中，该通信装置为用于通信设备中的芯片(系统)或电路。当该通信装置为用于通信设备中的芯片(系统)或电路时，通信单元可以是该芯片(系统)或电路上的通信接口(输入/输出接口)、接口电路、输出电路、输入电路、管脚或相关电路等；处理单元可以是至少一个处理器、处理电路或逻辑电路等。

第五方面，本申请实施例提供了一种通信装置，该通信装置包括处理器。该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面至第二方面任一方面以及任一项可能的实施方式的方法。可选地，该通信装置还包括存储器。可选地，该通信装置还包括通信接口，处理器与通信接口耦合。

第六方面，本申请实施例提供了一种通信装置，包括：逻辑电路和通信接口。所述通信接口，用于接收信息或者发送信息；所述逻辑电路，用于通过所述通信接口接收信息或者发送信息，使得所述通信装置执行上述第一方面至第二方面任一方面以及任一项可能的实施方式的方法。

第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序(也可以称为代码，或指令)；当所述计算机程序在计算机上运行时，使得上述第一方面至第二方面任一方面以及任一项可能的实施方式的方法被实现。

第八方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序(也可以称为代码，或指令)；当所述计算机程序被运行时，使得计算机执行上述第一方面至第二方面任一方面以及任一项可能的实施方式的方法。

第九方面，本申请实施例提供一种芯片，该芯片包括处理器，所述处理器用于执行指令，当该处理器执行所述指令时，使得该芯片执行上述第一方面至第二方面任一方面以及任一项可能的实施方式的方法。可选地，该芯片还包括通信接口，所述通信接口用于接收信号或发送信号。

第十方面，本申请实施例提供一种通信系统，所述通信系统包括至少一个如第三方面所述的通信装置，或第四方面所述的通信装置，或第五方面所述的通信装置，或第六方面所述的通信装置，或第九方面所述的芯片。

第十一方面，本申请实施例提供了一种通信系统，所述通信系统包括终端设备和网络设备，所述终端设备用于执行上述第一方面以及任一项可能的实施方式的方法，所述网络设备用于执行上述第二方面以及任一项可能的实施方式的方法。

此外，在执行上述第一方面至第二方面任一方面以及任一项可能的实施方式所述的方法的过程中，上述方法中有关发送信息和/或接收信息等的过程，可以理解为由处理器输出信息的过程，和/或，处理器接收输入的信息的过程。在输出信息时，处理器可以将信息输出给收发器(或者通信接口、或发送模块)，以便由收发器进行发射。信息在由处理器输出之后，还可能需要进行其他的处理，然后才到达收发器。类似的，处理器接收输入的信息时，收发器(或者通信接口、或发送模块)接收信息，并将其输入处理器。更进一步的，在收发器收到该信息之后，该信息可能需要进行其他的处理，然后才输入处理器。

基于上述原理，举例来说，前述方法中提及的发送信息可以理解为处理器输出信息。又例如，接收信息可以理解为处理器接收输入的信息。

可选的，对于处理器所涉及的发射、发送和接收等操作，如果没有特殊说明，或者，如果未与其在相关描述中的实际作用或者内在逻辑相抵触，则均可以更加一般性的理解为处理器输出和接收、输入等操作。

可选的，在执行上述第一方面至第二方面任一方面以及任一项可能的实施方式所述的方法的过程中，上述处理器可以是专门用于执行这些方法的处理器，也可以是通过执行存储器中的计算机指令来执行这些方法的处理器，例如通用处理器。上述存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(Read Only Memory，ROM)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本申请实施例对存储器的类型以及存储器与处理器的设置方式不做限定。

在一种可能的实施方式中，上述至少一个存储器位于装置之外。

在又一种可能的实施方式中，上述至少一个存储器位于装置之内。

在又一种可能的实施方式之中，上述至少一个存储器的部分存储器位于装置之内，另一部分存储器位于装置之外。

本申请中，处理器和存储器还可能集成于一个器件中，即处理器和存储器还可以被集成在一起。

本申请实施例中，网络设备可以根据第一模型和终端设备的资源信息，生成第一指示信息或第二指示信息，使得第一模型部署在网络设备或部署在网络设备和终端设备中，相应的，由网络设备独立执行推理任务或由终端设备和网络设备联合执行推理任务，推理所需的数据和获得的推理结果无需再传输给第一模型所在的服务设备，从而在终端设备使用第一模型获得推理结果的过程中降低了传输时延。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种通信系统的示意图；

图2为本申请实施例提供的一种通信方法的流程示意图；

图3为本申请实施例提供的另一种通信方法的流程示意图；

图4为本申请实施例提供的又一种通信方法的流程示意图；

图5为本申请实施例提供的又一种通信方法的流程示意图；

图6a为本申请实施例提供的第一模型转移部署后终端设备获得推理结果的一流程示意图；

图6b为本申请实施例提供的第一模型转移部署后终端设备获得推理结果的另一流程示意图；

图6c为本申请实施例提供的第一模型转移部署后终端设备获得推理结果的又一流程示意图；

图7为本申请实施例提供的一种通信装置的结构示意图；

图8为本申请实施例提供的一种通信装置的结构示意图；

图9为本申请实施例提供的一种芯片的结构示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例进行描述。

本申请的说明书、权利要求书及附图中的术语“第一”和“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备等，没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元等，或可选地还包括对于这些过程、方法、产品或设备等固有的其它步骤或单元。

在本文中提及的“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员可以显式地和隐式地理解的是，在本申请的各个实施例中，如果没有特殊说明以及逻辑冲突，各个实施例之间的术语和/或描述具有一致性、且可以相互引用，不同的实施例中的技术特征根据其内在的逻辑关系可以组合形成新的实施例。

应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上，“至少两个(项)”是指两个或三个及三个以上，“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。

需要说明的是，在本申请中，“指示”可以包括直接指示、间接指示、显示指示、隐式指示。当描述某一指示信息用于指示A时，可以理解为该指示信息携带A、直接指示A，或间接指示A。

本申请中，指示信息所指示的信息，称为待指示信息。在具体实现过程中，对待指示信息进行指示的方式有很多种，例如但不限于，可以直接指示待指示信息，如待指示信息本身或者该待指示信息的索引等。也可以通过指示其它信息来间接指示待指示信息，其中该其它信息与待指示信息之间存在关联关系。还可以仅仅指示待指示信息的一部分，而待指示信息的其它部分则是已知的或者提前约定的。例如，还可以借助预先约定(例如协议规定)的各个信息的排列顺序来实现对特定信息的指示，从而在一定程度上降低指示开销。待指示信息可以作为一个整体一起发送，也可以分成多个子信息分开发送，而且这些子信息的发送周期和/或发送时机可以相同，也可以不同。具体发送方法本申请不进行限定。其中，这些子信息的发送周期和/或发送时机可以是预先定义的，例如根据协议预先定义的，也可以是发射端设备通过向接收端设备发送配置信息来配置的。

需要说明的是，本申请中“发送”可以理解为“输出”，“接收”可以理解为“输入”。“向A发送信息”，其中“向A”只是表示信息传输的走向，A是目的地，不限制“向A发送信息”一定是空口上的直接发送。“向A发送信息”包括直接向A发送信息，也包括通过发射机间接向A发送信息，所以“向A发送信息”也可以理解为“输出去向A的信息”。同理，“接收来自A的信息”，表示该信息的来源是A，包括直接从A接收信息，也包括通过接收机间接接收来自A的信息，所以“接收来自A的信息”也可以理解为“输入来自A的信息”。

本申请实施例提供一种通信方法及相关装置，可以降低终端设备获得模型推理结果过程的传输时延。

以下介绍本申请实施例提供的通信系统。如图1所示，该通信系统可以包括终端设备、网络设备和服务设备。其中，网络设备可以连接终端设备与服务设备。

终端设备也可称为用户设备(user equipment，UE)、终端等。终端设备是一种具有无线收发功能的设备，可以部署在陆地上，包括室内或室外、手持、穿戴或车载；也可以部署在水面上，如轮船上等；还可以部署在空中，例如部署在飞机、气球或卫星上等。终端设备可以是手机(mobile phone)、平板电脑(Pad)、带无线收发功能的电脑、虚拟现实(virtualreality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端等等。可理解，该终端设备还可以是未来6G网络中的终端设备或者未来演进的PLMN中的终端设备等。

网络设备，可以从终端设备和服务设备收集数据，并进行分析和预测。网络设备可以包括管理网元，例如该管理网元可以是核心网中的网络数据分析功能(network dataanalytics function，NWDAF)、网元管理系统(Element Management System，EMS)、网络管理系统(Network Management System，NMS)、接入网中的移动智能功能(MobileIntelligent Function，MIF)或其它具有大数据分析功能或人工智能处理功能的单元等。其中，NWDAF具有AI训练、推理等各类智能计算功能。EMS用于管理一个或多个某个类别的网元，也可以称为域管理系统或者单域管理系统。NMS负责网络的运行、管理和维护功能，也可以称为跨域管理系统。MIF泛指无线网络中负责进行智能计算的网络功能。此外，该网络设备中还可以包括接入网设备。

接入网设备可以是下一代节点B(next generation node B，gNB)、下一代演进型基站(next generation evolved nodeB，ng-eNB)、或者未来6G通信中的接入网设备等。接入网设备可以是任意一种具有无线收发功能的设备，包括但不限于以上所示的基站(basestation，BS)。该基站还可以是未来通信系统如第六代通信系统中的基站。可选的，该接入网设备可以为无线局域网(wireless fidelity，WiFi)系统中的接入节点、无线中继节点、无线回传节点等。可选的，该接入网设备可以是云无线接入网络(cloud radio accessnetwork，CRAN)场景下的无线控制器。可选的，该接入网设备可以是可穿戴设备或车载设备等。可选的，该接入网设备还可以是小站，传输接收节点(transmission reception point，TRP)(或也可以称为传输点)等。可理解，该接入网设备还可以是未来演进的公共陆地移动网络(public land mobile network，PLMN)中的基站等等。

在一些部署中，基站(如gNB)可以由集中式单元(centralized unit，CU)和分布式单元(distributed unit，DU)构成。即对接入网中的基站的功能进行拆分，将基站的部分功能部署在一个CU，将剩余功能部署在DU。且多个DU共用一个CU，可以节省成本，以及易于网络扩展。在基站的另一些部署中，CU还可以划分为CU-控制面(control plane，CP)和CU-用户面(user plan，UP)等。在基站的又一些部署中，基站还可以是天线单元(radio unit，RU)等。在基站的又一些部署中，基站还可以是开放的无线接入网(open radio accessnetwork，ORAN)架构等等，本申请对于基站的具体类型不作限定。示例性的，在基站是ORAN架构时，本申请实施例所示的基站可以是ORAN中的接入网设备，或者是接入网设备中的模块等。在ORAN系统中，CU还可以称为开放(open，O)-CU，DU还可以称为O-DU，CU-DU还可以称为O-CU-DU，CU-UP还可以称为O-CU-UP，RU还可以称为O-RU。

服务设备，是指除网络设备和终端设备之外的第三方网络应用服务器。

应理解，图1示例性地示出了一个表示管理网元的核心网设备、一个基站、一个终端设备和一个服务设备，以及各通信设备之间的通信链路。可选地，该通信系统可以包括多个基站，并且每个基站的覆盖范围内可以包括其它数量的终端设备，例如更多或更少的终端设备等，本申请对此不做限定。

上述各个通信设备，如图1中的网络设备、终端设备、服务设备，可以配置多个天线。该多个天线可以包括至少一个用于发送信号的发射天线和至少一个用于接收信号的接收天线等，本申请实施例对于各个通信设备的具体结构不作限定。可选地，该通信系统还可以包括网络控制器、移动管理实体等其他网络实体，本申请实施例不限于此。

可理解，图1所示的通信系统示意图仅为示例，对于其他形式的通信系统示意图可以参考相关标准或协议等，这里不再一一详述。

下文示出的各个实施例可以适用于图1所示的通信系统，也可以适用于其他形式的通信系统，对此，下文不再赘述。

本申请提供了一种通信方法，应用于通信技术领域。为了更清楚地描述本申请的方案，下面先介绍一些与机器学习模型(或人工智能模型)相关的知识。

本申请中提到的模型即机器学习模型或人工智能模型，可以认为是实现计算机自动“学习”的算法。模型包括训练和推理两个核心阶段。

在训练阶段，通过大量数据和算法，模型学会识别和生成规律。大模型通过深度学习技术，通过多层神经网络，对接收输入的海量数据进行学习和优化，并通过学习调整模型的参数，使其能够对输入数据进行准确的预测。

推理阶段则建立在训练完成的基础上，训练好的模型被用于新的、未见过的数据进行预测或分类。大模型在推理阶段可以处理各种类型的输入，并输出相应的预测结果。推理可以在生产环境中进行，例如在实际应用中对图像、语音或文本进行分类，也可以用于其他任务，如语言生成、翻译等。

使用模型解决实际问题的过程中，包括模型部署和模型推理两部分。模型部署指把训练好的模型在特定环境中运行的过程。在模型部署好后，输入数据利用模型进行推理，可以获得推理结果，应用在实际场景中。

请参阅图2，图2为本申请实施例提供的一种通信方法的流程示意图。该通信方法应用于通信技术领域。可理解，该通信方法可以由通信装置执行，该通信装置可以是网络设备、终端设备或服务设备，也可以是用于这些设备中的芯片(系统)或电路，本申请对此不作限定。该通信方法包括但不限于如下步骤：

S201：终端设备向网络设备发送第一消息，相应的，网络设备接收该第一消息。

S202：网络设备基于第一模型和终端设备的资源信息，生成第二消息。

S203：网络设备向终端设备发送第二消息，相应的，终端设备接收该第二消息。

其中，本申请实施例中的第一消息用于请求网络设备部署第一模型，第一消息包括第一模型的识别信息和终端设备的资源信息。第二消息包括第一指示信息或第二指示信息，第一指示信息指示由网络设备独立执行第一模型的推理任务，第二指示信息指示由终端设备和网络设备联合执行第一模型的推理任务，以及指示终端设备与网络设备分别部署第一模型中的第一子模型和第二子模型。

其中，第一模型可以包括人工智能模型或机器学习模型。

该第一模型的识别信息可理解为指示该第一模型和识别该第一模型的信息，具体可以包括以下至少一项：第一模型的标识信息、指示第一模型的可获取方式的信息等。第一模型的可获取方式可以包括该第一模型的地址信息等。示例性的，当第一模型的识别信息包括第一模型的标识信息时，若该第一模型对应为APP应用中的某个服务，那么该第一模型的标识信息可包括该APP的应用标识和该服务的服务类型。本申请实施例对此不做限制。

终端设备的资源信息可以包括终端设备的存储资源信息和计算资源信息，具体可以包括终端设备芯片的可用内存、终端设备芯片的计算能力等。示例性的，该终端设备的资源信息可以包括终端设备芯片的可用内存、芯片功率和计算频率等信息。

第一模型中的第一子模型可以包括一个或多个模型，第一模型中的第二子模型可以包括一个或多个模型。第一子模型和第二子模型不同。其中，第一子模型和第二子模型可以分别为第一模组中的浅层模型和深层模型。第一模型中的浅层模型相比深层模型更靠近第一模型的输入层。或者，第一子模型和第二子模型可分别为第一模型中可分别部署在不同地方且相互独立的两部分子模型。

可以理解的是，网络设备可基于第一模型的参数规模、模型结构等信息以及终端设备的存储资源、计算资源等资源信息，确定是否需要对第一模型进行拆分，若需要进行拆分则根据拆分难度确定分别要部署在终端设备和网络设备中的部分模型，生成第一指示信息或第二指示信息。该第一指示信息和第二指示信息可称为协同推理指示。

当第二指示信息指示终端设备部署第一子模型时，终端设备的存储资源和计算资源等足够支持在终端设备中对第一子模型进行推理。

可选地，第二指示信息还可以进一步指示终端设备和网络设备联合执行推理任务时的具体规则，例如数据的输入、对基于第一子模型得到的特征的处理方式、对基于第二子模型得到的特征的处理方式、获得最终推理结果的方式等，本申请实施例对此不作限制。

可选地，终端设备接收第二消息之后，若第二消息中包括第二指示信息，终端设备可部署第一模型中的第一子模型，后续在需要执行第一模型的推理任务时，可基于该第一子模型和第二指示信息进行部分推理，与网络设备联合执行第一模型的推理任务，获得推理结果。

可以理解的是，当第一模型部署在服务设备中，终端设备获得第一模型的推理结果之前，需要将数据经网络设备发送给服务设备，服务设备执行推理任务，获得推理结果并将推理结果经网络设备传输给终端设备，该过程需要经过多个节点转发信息，传输时延高。

而本申请实施例中，网络设备可以根据第一模型和终端设备的资源信息，生成第一指示信息或第二指示信息，使得第一模型部署在网络设备或部署在网络设备和终端设备中，相应的，由网络设备独立执行推理任务或由终端设备和网络设备联合执行推理任务，推理所需的数据和获得的推理结果无需再传输给第一模型所在的服务设备，从而在终端设备使用第一模型获得推理结果的过程中降低了传输时延。当进行多次推理时，能大幅度降低传输时延。

在一种可能的实施例中，本申请实施例在执行上述步骤S201之前，还可以执行以下步骤：

S204：终端设备通过网络设备与第一模型所在的服务设备建立连接。

S205：终端设备进行注册，服务设备基于第一模型对应的应用对终端设备进行鉴权，终端设备授权用户数据。

其中，第一模型存储并部署在上述服务设备中，该服务设备可以为应用服务器。服务设备可用于实现某些特定应用或服务的业务逻辑生成和管理功能等。经过训练的模型整合到为解决业务问题而开发的应用中，可以部署在服务设备中。该服务设备可通过执行第一模型的推理任务，实现为终端提供应用服务。可选地，第一模型可对应服务设备中的一个应用，或者，第一模型可对应服务设备中的一个应用中的某一个具体的服务。

可选地，当服务设备中与第一模型对应的应用可提供个性化服务时，第一模型为利用终端设备授权的用户数据对基础模型进行微调后的模型。否则，第一模型为该服务设备提供的基础模型。

可以理解的是，终端设备进行注册后，服务设备可以将准备好的第一模型下发给网络设备或终端设备，方便后续将第一模型部署在网络设备中或部署在网络设备和终端设备中，从而能够降低终端设备获得第一模型的推理结果过程的传输时延。

本申请实施例中，服务设备将第一模型下发，终端设备向网络设备发送第一消息，使得网络设备可基于第一消息生成第一指示信息或第二指示信息，并将该指示信息发送给终端设备。当该指示信息指示由网络设备独立执行推理任务，可实现将第一模型部署在网络设备中，获得推理结果时无需经过服务设备，降低了传输时延。当该指示信息指示由终端设备和网络设备联合执行推理任务，终端设备可部署第一模型中的第一子模型，并在需要执行推理任务时基于该指示信息和第一子模型进行部分推理，与网络设备联合获得推理结果，实现将第一模型部署在终端设备和网络设备中。该过程中既可以降低传输时延，又能利用终端设备的资源，提高了资源利用率。

请参阅图3，图3为本申请实施例提供的另一种通信方法的流程示意图。可以理解的是，本申请实施例中的步骤可以视为上述图2中的实施例的合理变形或补充；或者，可以理解的是，本申请实施例中的通信方法也可以视为能单独执行的实施例，本申请对此不作限制。在该通信方法中，由终端设备触发第一模型的转移部署。

该通信方法包括但不限于如下步骤：

S301：终端设备向网络设备发送第一消息，相应的，网络设备接收该第一消息。

S302：网络设备基于第一模型和终端设备的资源信息，生成第二消息。

S303：网络设备向终端设备发送第二消息，相应的，终端设备接收该第二消息。

上述步骤S301至S303与上述图2所示的实施例中的步骤S201至S203一致，此处不再赘述。

在一种可能的实施例中，本申请实施例在执行上述步骤S301之后，还可以执行以下步骤：

S304：网络设备基于第一模型的识别信息确定在网络设备中是否已存储第一模型；在网络设备中未存储第一模型的情况下，存储第一模型；在网络设备中已存储第一模型的情况下，调用第一模型；

网络设备确定网络设备中执行第一模型的推理任务的第一网元。

可以理解的是，上述第一网元可以为RAN域的MIF、核心网中的NWDAF等，也可以是EMS或NMS等，该第一网元的资源足够执行第一网元的推理任务。

可以理解的是，上述步骤S303中的第二消息还可以包括上述第一网元的标识信息。

网络设备可在其存储单元中确定是否已存储第一模型，存储或调用该第一模型，并分配第一网元作为服务网元，以便于后续利用第一网元接收终端设备的推理请求，执行第一模型的推理任务。

在一种可能的实施例中，本申请实施例在执行上述步骤S301之前，还可以执行以下步骤：

S305：终端设备基于第一模型和终端设备的资源信息确定终端设备能否独立执行推理任务。

可以理解的是，上述步骤S301具体可以是，在终端设备不能独立执行第一模型的推理任务的情况下，终端设备向网络设备发送第一消息。相应的，网络设备接收该第一消息。

其中，终端设备基于第一模型的参数规模等信息以及该终端设备的存储资源信息和计算资源信息确定能否独立执行该第一模型的推理任务。例如，终端设备基于第一模型的参数规模，判断执行推理任务所需的显存需求是否大于终端设备的可用内存，若大于，则确定终端设备不能独立执行上述推理任务。又例如，终端设备可基于芯片的计算频率和功率，预估执行推理任务并获得推理结果所需的能耗是否超过终端设备的最大负荷，若超过，则确定终端设备不能独立执行上述推理任务。又例如，终端设备预估执行推理任务时，终端设备的芯片计算能力能否满足服务时延要求，若不能满足，则确定终端设备不能独立执行上述推理任务。可理解的，终端设备确定能否独立执行推理任务的具体判断过程可根据实际需求进行确定，上述判断过程仅作为部分示例，不构成对本申请实施例的限定。

在一种可能的实施例中，本申请实施例在执行上述步骤S305之前，还可以执行以下步骤：

S306：服务设备发送第三消息，相应的，终端设备接收第三消息。

其中，第三消息包括第一模型和第一模型的识别信息。

第一模型的识别信息的相关说明可参见上文描述，在此不再赘述。

可以理解的是，上述步骤S301中的第一消息还可以包括第一模型。

可以理解的是，本申请实施例中由终端设备触发第一模型的转移部署。因此，服务设备可在终端注册之后，通过发送第三消息，将第一模型和第一模型的识别信息下发至终端设备中。终端设备接收第三消息后，可执行上述步骤S305，基于第一模型和终端设备的资源信息确定终端设备能否独立执行第一模型的推理任务，以便于后续确定如何获得第一模型的推理结果。

通过本申请实施例，服务设备主动将第一模型及识别信息下发至终端设备，终端设备可基于第一模型和自身资源信息确定能否独立完成推理任务，从而可以在终端设备自身资源不足的情况下，使第一模型能部分或完全部署至网络设备中，降低后续获得推理结果的传输时延。当第一模型部署在网络设备和终端设备中时，还可以利用终端设备的资源，提高终端设备的资源利用率，进一步降低传输时延。

在一种可能的实施例中，本申请实施例在执行上述步骤S303之后，还可以执行以下步骤：

S307：终端设备向第一模型所在的服务设备发送第五消息，相应的，服务设备接收第五消息。

其中，第五消息包括上述第一指示信息或所述第二指示信息。

可以理解的是，本申请实施例中，当上述第二信息包括第一指示信息时，该第五信息包括第一指示信息。当上述第二信息包括第二指示信息时，该第五信息包括第二指示信息。

其中，第五信息还可以包括上述第一网元的标识信息。该标识信息可以包括以下至少一项：第一网元的IP地址；第一网元所在的子网标识和第一网元对应的子网内唯一标识；在全网内能够唯一指示该第一网元的ID信息等。本申请对此不作限制。

通过本申请实施例，终端设备接收来自网络设备的第二信息后，向服务设备发送第五消息，可以向服务设备反馈第一模型已转移部署在网络设备中，并反馈后续执行推理任务的主体和实际执行推理任务的第一网元，以便于服务设备获知相关信息，不必在后续再执行第一模型的推理任务，从而可不必从服务设备获得推理结果，降低传输时延。

请参阅图4，图4为本申请实施例提供的又一种通信方法的流程示意图。可以理解的是，本申请实施例中的步骤可以视为上述图2中的实施例的合理变形或补充；或者，可以理解的是，本申请实施例中的通信方法也可以视为能单独执行的实施例，本申请对此不作限制。在该通信方法中，由网络设备触发第一模型的转移部署。

该通信方法包括但不限于如下步骤：

S401：终端设备向网络设备发送第一消息，相应的，网络设备接收该第一消息。

S402：网络设备基于第一模型和终端设备的资源信息，生成第二消息。

S403：网络设备向终端设备发送第二消息，相应的，终端设备接收该第二消息。

上述步骤S401至S403与上述图2所示的实施例中的步骤S201至S203一致，此处不再赘述。

在一种可能的实施例中，本申请实施例在执行上述步骤S401之前，还可以执行以下步骤：

S404：网络设备向终端设备发送第四消息，相应的，终端设备接收第四消息。

可以理解的是，上述步骤S401具体可以是，响应于第四消息，终端设备向网络设备发送第一消息。

其中，第四消息用于获取终端设备的资源信息，第四消息包括网络设备中执行推理任务的第一网元的标识信息和第一模型的识别信息。第一网元的标识信息和第一模型的识别信息的相关说明可参见上文描述，在此不再赘述。

终端设备向网络设备发送第一消息时，该网络设备可以是该第一网元。

本申请实施例中，网络设备向终端设备发送第四消息，可使得终端设备将自身资源信息发送给网络设备，网络设备基于终端设备的资源信息和第一模型生成第一指示信息或第二指示信息，明确后续由网络设备还是网络设备和终端设备执行第一模型的推理任务，实现将第一模型全部或部分部署在网络设备中，使得终端设备不必再从服务设备获得推理结果，可降低传输时延，提高服务效率。

在一种可能的实施例中，本申请实施例在执行上述步骤S404之前，还可以执行以下步骤：

S405：网络设备基于第一模型的识别信息确定在网络设备中是否已存储所述第一模型；在网络设备中未存储第一模型的情况下，存储第一模型；在网络设备中已存储第一模型的情况下，调用第一模型；

网络设备确定网络设备中执行第一模型的推理任务的第一网元。

该步骤与上述图3所示实施例中的步骤S304一致，此处不再赘述。

在一种可能的实施例中，本申请实施例在执行上述步骤S405之前，还可以执行以下步骤：

S406：服务设备向网络设备发送第三消息，相应的，网络设备接收第三消息。

其中，第三消息包括第一模型和第一模型的识别信息。

可以理解的是，本申请实施例中由网络设备触发第一模型的转移部署。因此，服务设备可将在终端注册之后，通过发送第三消息，将第一模型和第一模型的识别信息下发至网络设备中。网络设备接收第三消息后，可执行上述步骤S405和S404，将第一模型存储在网络设备中并从终端设备获取终端设备的资源信息，以便于后续生成第一指示信息或第二指示信息，实现将第一模型完全或部分部署在网络设备中。

通过本申请实施例，服务设备主动将第一模型及识别信息发送至网络设备，网络设备可存储或调用第一模型，获取终端设备的资源信息，生成第一指示信息或第二指示信息，实现将第一模型部分或完全部署至网络设备中，降低后续获得推理结果的传输时延。当第一模型部署在网络设备和终端设备中时，还可以利用终端设备的资源，提高终端设备的资源利用率，进一步降低传输时延。

可选地，本申请实施例在执行上述步骤S403之后，还可以执行以下步骤：

S407：终端设备向第一模型所在的服务设备发送第五消息，相应的，服务设备接收第五消息。

其中，第五消息包括上述第一指示信息或所述第二指示信息。

可以理解的是，本申请实施例中，当上述第二信息包括第一指示信息时，该第五信息包括第一指示信息。当上述第二信息包括第二指示信息时，该第五信息包括第二指示信息。

第五信息还可以包括第一网元的标识信息。该标识信息的相关说明参见上文描述。

通过本申请实施例，终端设备接收来自网络设备的第二信息后，向服务设备发送第五消息，可以向服务设备反馈第一模型已转移部署在网络设备中，并反馈后续执行推理任务的主体和实际执行推理任务的第一网元，以便于服务设备获知相关信息，后续不必再执行第一模型的推理任务，从而保证不经过服务设备也可获得推理结果，降低传输时延。

请参阅图5，图5为本申请实施例提供的又一种通信方法的流程示意图。可以理解的是，本申请实施例中的步骤可以视为上述图2中的实施例的合理变形或补充；或者，可以理解的是，本申请实施例中的通信方法也可以视为能单独执行的实施例，本申请对此不作限制。在该通信方法中，由服务设备触发第一模型的转移部署。

该通信方法包括但不限于如下步骤：

S501：终端设备向网络设备发送第一消息，相应的，网络设备接收该第一消息。

S502：网络设备基于第一模型和终端设备的资源信息，生成第二消息。

S503：网络设备向终端设备发送第二消息，相应的，终端设备接收该第二消息。

上述步骤S501至S503与上述图2所示的实施例中的步骤S201至S203一致，此处不再赘述。

在一种可能的实施例中，本申请实施例在执行上述步骤S501之前，还可以执行以下步骤：

S504：服务设备向终端设备发送第四消息，相应的，终端设备接收第四消息。

可以理解的是，上述步骤S501具体可以是，响应于第四消息，终端设备向网络设备发送第一消息。

其中，第四消息用于获取终端设备的资源信息，第四消息包括网络设备中执行推理任务的第一网元的标识信息和第一模型的识别信息。第一网元的标识信息和第一模型的识别信息的相关说明可参见上文描述，在此不再赘述。

终端设备向网络设备发送第一消息时，该网络设备可以是上述第一网元。

第一网元的标识信息和第一模型的识别信息的相关说明可参见上文描述，在此不再赘述。

本申请实施例中，在由服务设备触发第一模型的转移部署的场景下，服务设备可主动向终端设备发送上述第四消息，使得终端设备能将其资源信息发送给网络设备，以便于网络设备生成第一指示信息或第二指示信息。进而可明确后续由网络设备还是由网络设备和终端设备执行第一模型的推理任务，实现将第一模型全部或部分部署在网络设备中，使得终端设备不必再从服务设备获得推理结果，可降低传输时延，提高服务效率。

在一种可能的实施例中，本申请实施例在执行上述步骤S504之前，还可以执行以下步骤：

S505：网络设备向第一模型所在的服务设备发送第八消息，相应的，服务设备接收第八消息。

其中，第八消息包括网络设备中执行推理任务的第一网元的标识信息。

本申请实施例中，该第一网元是由网络设备事先确定的，网络设备向服务设备反馈该第一网元的标识信息，可使得服务设备能获知网络设备中处理第一模型的部署和推理事项的网元，以便于后续服务设备能不必再执行第一模型的推理任务，降低推理传输时延。

在一种可能的实施例中，本申请实施例在执行上述步骤S505之前，还可以执行以下步骤：

S506：网络设备基于第一模型的识别信息确定在网络设备中是否已存储第一模型；在网络设备中未存储第一模型的情况下，存储第一模型；在网络设备中已存储第一模型的情况下，调用第一模型；

网络设备确定网络设备中执行第一模型的推理任务的第一网元。

该步骤与上述图3所示实施例中的步骤S304一致，此处不再赘述。

在一种可能的实施例中，本申请实施例在执行上述步骤S506之前，还可以执行以下步骤：

S507：服务设备向网络设备发送第三消息，相应的，网络设备接收第三消息。

其中，第三消息包括第一模型和第一模型的识别信息。

第一模型的识别信息的相关说明参见上文描述，在此不再赘述。

可以理解的是，本申请实施例中由服务设备触发部署第一模型至网络设备中。因此，服务设备可将在网络注册之后，通过发送第三消息，将第一模型和第一模型的识别信息下发至网络设备中。网络设备接收第三消息后，可执行上述步骤S506，对第一模型进行存储或调用，并分配负责处理第一模型的推理任务的第一网元，以便后续可以将该第一网元的识别信息发给终端设备，从终端设备中获得资源信息，生成第一指示信息或第二指示信息。

通过本申请实施例，服务设备主动将第一模型及其识别信息发送至网络设备，网络设备可存储或调用第一模型，并分配第一网元作为服务网元，生成第一指示信息或第二指示信息，以便能实现将第一模型部分或完全部署至网络设备中，降低后续获得推理结果过程的传输时延。当第一模型部署在终端设备和网络设备中时，还可以利用网络设备的资源，提高网络设备的资源利用率，进一步降低传输时延。

可选地，本申请实施例在执行上述步骤S503之后，还可以执行以下步骤：

S508：终端设备向第一模型所在的服务设备发送第五消息，相应的，服务设备接收第五消息。

其中，第五消息包括上述第一指示信息或所述第二指示信息。

可以理解的是，本申请实施例中，当上述第二信息包括第一指示信息时，该第五信息包括第一指示信息。当上述第二信息包括第二指示信息时，该第五信息包括第二指示信息。

通过本申请实施例，终端设备接收来自网络设备的第二信息后，向服务设备发送第五消息，可以向服务设备反馈第一模型已转移部署在网络设备中，并反馈后续执行推理任务的主体，以便于服务设备获知相关信息，后续不必再执行第一模型的推理任务，从而保证不经过服务设备也可获得推理结果，降低传输时延。

本申请实施例还提供的一种通信方法。可以理解的是，本申请实施例中的步骤可以在上述图2至图5任一图示的实施例之后执行，或者，本申请实施例中的通信方法也可以视为能单独执行的实施例，本申请对此不作限制。该通信方法示出了第一模型转移部署后终端设备获得第一模型的推理结果的过程。

该通信方法包括但不限于如下步骤：

S601：在第二消息包括第一指示信息的情况下，终端设备向网络设备发送第六消息，相应的，网络设备接收第六消息。

S602：网络设备基于第一数据独立执行第一模型的推理任务，获得第一推理结果。

S603：网络设备向终端设备发送第一推理结果，相应的，终端设备接收第一推理结果。

其中，第六消息用于请求网络设备独立执行推理任务，第六消息包括执行推理任务需要输入的第一数据。第一推理结果是基于第一数据得到的。该通信方法中提到的网络设备，可以为上述第一网元。

可以理解的是，由于第一指示信息指示由网络设备独立执行第一模型的推理任务，因此终端设备可将第一数据发送给网络设备，网络设备基于第一数据和第一模型进行推理，获得第一推理结果。该过程由网络设备独立完成推理任务，无需将数据发给服务设备和从服务设备获得推理结果，降低了整个推理过程的传输时延。

在一种可能的实施例中，本申请实施例还可以执行以下步骤：

S604：在第二消息包括第二指示信息的情况下，终端设备向网络设备发送第七消息，相应的，网络设备接收第七消息。

其中，第七消息用于请求终端设备与网络设备联合执行推理任务，第七消息包括第二数据；第二数据是终端设备基于第一子模型对第一数据进行推理得到的，或者，第二数据是对第一数据进行预处理得到的，第一数据是执行推理任务需要输入的数据。

可以理解的是，上述步骤S601～S604可以在步骤S604之前执行，也可以在步骤S604之后执行，或者，该通信方法中多次执行步骤S601～S604，或者，该通信方法中多次执行步骤S604，等等，本申请对此不作限制。

在一种可能的实施例中，本申请实施例在执行上述步骤S604之后，还可以执行以下步骤：

S605：在第二指示信息指示网络设备基于第二子模型得到的推理结果为中间层特征的情况下，终端设备基于第一子模型对第二数据进行推理，得到第三数据。

S606：网络设备基于所述第二子模型对所述第二数据进行推理得到第四数据。

S607：网络设备向所述终端设备发送所述第四数据。相应的，终端设备接收来自网络设备的第四数据。

S608：终端设备基于第三数据和第四数据得到第二推理结果。

其中，第四数据是网络设备基于第二子模型对第二数据进行推理得到的。

可以理解的是，第二指示信息指示网络设备基于第二子模型得到的推理结果为中间层特征，那么网络设备基于第二子模型得到的推理结果不是最终推理结果，需要进一步被终端设备处理，此时说明第一模型的部署方式为并联部署方式。该并联部署方式是指，第一模型中的第一子模型和第二子模型分别部署在终端设备和网络设备中，且在终端设备和网络设备各自进行部分推理后终端设备获得最终推理结果。

此时，第二数据是对第一数据进行预处理得到的。第三数据和第四数据属于中间层特征。

本申请实施例中，终端设备和网络设备基于第二指示信息，确定联合执行推理任务的具体流程，终端设备和网络设备分别利用第一子模型和第二子模型进行部分推理，获得最终推理结果。这样无需将数据发给服务设备和从服务设备获得推理结果，降低了整个推理过程的传输时延。由于终端设备参与推理，可利用终端设备的资源，提高了资源利用率。终端设备和网络设备各自进行独立推理，可降低推理所需时间，提高推理效率。

可选地，本申请实施例在执行上述步骤S604之后，还可以执行以下步骤：

S609：在第二指示信息指示网络设备基于第二子模型得到的推理结果为最终推理结果的情况下，终端设备向网络设备发送第二数据，相应的，网络设备接收第二数据。

S610：网络设备基于第二子模型对第二数据进行推理，获得第三推理结果。

S611：网络设备向终端设备发送第三推理结果，相应的，终端设备接收第三推理结果。

可以理解的是，第二指示信息指示网络设备基于第二子模型得到的推理结果为最终推理结果，说明第一模型的部署方式为串联部署方式。该串联部署方式是指，第一模型中的第一子模型和第二子模型分别部署在终端设备和网络设备中，且在终端设备进行部分推理后将推理结果发送给网络设备，网络设备再进行部分推理后获得最终推理结果。

此时，第二数据是对第一数据进行推理得到的。第二数据属于中间层特征。

可选的，该第二数据还可以是先对第一数据进行预处理，再基于第一子模型进行推理得到的。

本申请实施例中，终端设备和网络设备基于第二指示信息，确定联合执行推理任务的具体流程，终端设备进行部分推理后，将推理结果发送给网络设备进行部分推理，获得最终推理结果。这样无需将数据发给服务设备和从服务设备获得推理结果，降低了整个推理过程的传输时延。由于终端设备参与推理，可利用终端设备的资源，提高了资源利用率。

参见图6a、图6b和图6c，图6a示出了第一模型转移部署后终端设备获得推理结果的一流程示意图,图6b示出了第一模型转移部署后终端设备获得推理结果的另一流程示意图，图6c示出了第一模型转移部署后终端设备获得推理结果的又一流程示意图。图6a、图6b、图6c分别对应上述网络设备独立执行第一模型的推理任务、终端设备和网络设备联合执行第一模型的推理任务且第一模型的部署方式为并联部署方式、终端设备和网络设备联合执行第一模型的推理任务且第一模型的部署方式为串联部署方式的推理过程。

上述详细阐述了本申请实施例的方法，下面提供用于实现本申请实施例中任一种方法的装置，例如，提供一种装置包括用以实现以上任一种方法中设备所执行的各步骤的单元(或手段)。

请参阅图7，图7为本申请实施例提供的一种通信装置的结构示意图。

如图7所示，该通信装置70可以包括通信单元701以及处理单元702。通信单元701以及处理单元702可以是软件，也可以是硬件，或者是软件和硬件结合。

其中，通信单元701可以实现发送功能和/或接收功能，通信单元701也可以描述为收发单元。通信单元701还可以是集成了获取单元和发送单元的单元，其中，获取单元用于实现接收功能，发送单元用于实现发送功能。可选的，通信单元701可以用于接收其他装置发送的信息，还可以用于向其他装置发送信息。

在一种可能的设计中，该通信装置70可对应于上述图2至图6c所示的方法实施例中的终端设备，如该通信装置70可以是终端设备，也可以是终端设备中的芯片。该通信装置70可以包括用于执行上述图2至图6c所示的方法实施例中由终端设备所执行的操作的单元，并且，该通信装置70中的各单元分别为了实现上述图2至图6c所示的方法实施例中由终端设备所执行的操作。其中，各个单元的描述如下：

通信单元701，用于向网络设备发送第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

所述通信单元701，还用于接收来自所述网络设备的第二消息，所述第二消息包括第一指示信息或第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备与所述网络设备分别部署所述第一模型中的第一子模型和第二子模型。

在一种可能的实施方式中，该装置还包括：

处理单元702，用于生成所述第一消息。

关于本设计所述的通信单元701和处理单元702，其执行的步骤可参考对应于上述图2至图6c所示的方法实施例中的终端设备对应的实施方式。

关于本设计所述的通信单元701和处理单元702所执行的实施方式所带来的技术效果，可参考对应于上述图2至图6c所示的方法实施例的技术效果的介绍。

在另一种可能的设计中，该通信装置70可对应于上述图2至图6c所示的方法实施例中的网络设备，如该通信装置70可以是网络设备，也可以是网络设备中的芯片。该通信装置70可以包括用于执行上述图2至图6c所示的方法实施例中由网络设备所执行的操作的单元，并且，该通信装置70中的各单元分别为了实现上述图2至图6c所示的方法实施例中由网络设备所执行的操作。其中，各个单元的描述如下：

通信单元701，用于接收来自终端设备的第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

所述通信单元701，还用于向所述终端设备发送所述第二消息；

处理单元702，用于基于所述第一模型和所述终端设备的资源信息，生成第二消息，所述第二消息包括所述第一指示信息或所述第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备和所述网络设备分别部署所述第一模型中的第一子模型和第二子模型。

关于本设计所述的通信单元701和处理单元702，其执行的步骤可参考对应于上述图2至图6c所示的方法实施例中的网络设备对应的实施方式。

关于本设计所述的通信单元701和处理单元702所执行的实施方式所带来的技术效果，可参考对应于上述图2至图6c所示的方法实施例的技术效果的介绍。

根据本申请实施例，图7所示的装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本申请的其它实施例中，基于电子设备也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。

需要说明的是，各个单元的实现还可以对应参照上述图2至图6c所示的方法实施例的相应描述。

在图7所描述的通信装置70中，网络设备可基于第一模型和终端设备的资源信息，生成第一指示信息或第二指示信息，实现将第一模型完全或部分部署在网络设备中，由网络设备独立执行第一模型的推理任务或由终端设备和网络设备联合执行第一模型的推理任务，无需从服务设备获得第一模型的推理结果，可降低传输时延。

请参阅图8，图8为本申请实施例提供的一种通信装置的结构示意图。

应理解，图8示出的通信装置80仅是示例，本申请实施例的通信装置还可包括其他部件，或者包括与图8中的各个部件的功能相似的部件，或者并非要包括图8中所有部件。

通信装置80包括通信接口801和至少一个处理器802。

该通信装置80可以对应终端设备、网络设备中的任一网元或设备。通信接口801用于收发信号，至少一个处理器802执行程序指令，使得通信装置80实现上述方法实施例中由对应设备所执行的方法的相应流程。

在一种可能的设计中，该通信装置80可对应于上述图2至图6c所示的方法实施例中的终端设备，如该通信装置80可以是终端设备，也可以是终端设备中的芯片。该通信装置80可以包括用于执行上述方法实施例中由终端设备所执行的操作的部件，并且，该通信装置80中的各部件分别为了实现上述方法实施例中由终端设备所执行的操作。具体可以如下所示：

向网络设备发送第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

接收来自所述网络设备的第二消息，所述第二消息包括第一指示信息或第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备与所述网络设备分别部署所述第一模型中的第一子模型和第二子模型。

在另一种可能的设计中，该通信装置80可对应于上述图2至图6c所示的方法实施例中的网络设备，如该通信装置80可以是网络设备，也可以是网络设备中的芯片。该通信装置80可以包括用于执行上述方法实施例中由网络设备所执行的操作的部件，并且，该通信装置80中的各部件分别为了实现上述方法实施例中由网络设备所执行的操作。具体可以如下所示：

接收来自终端设备的第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

基于所述第一模型和所述终端设备的资源信息，生成第二消息，所述第二消息包括所述第一指示信息或所述第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备和所述网络设备分别部署所述第一模型中的第一子模型和第二子模型；

向所述终端设备发送所述第二消息。

在图8所描述的通信装置80中，网络设备可基于第一模型和终端设备的资源信息，生成第一指示信息或第二指示信息，实现将第一模型完全或部分部署在网络设备中，由网络设备独立执行第一模型的推理任务或由终端设备和网络设备联合执行第一模型的推理任务，无需从服务设备获得第一模型的推理结果，可降低传输时延。

对于通信装置可以是芯片或芯片系统的情况，可参阅图9所示的芯片的结构示意图。

如图9所示，芯片90包括处理器901和接口902。其中，处理器901的数量可以是一个或多个，接口902的数量可以是多个。需要说明的是，处理器901、接口902各自对应的功能既可以通过硬件设计实现，也可以通过软件设计来实现，还可以通过软硬件结合的方式来实现，这里不作限制。

可选的，芯片90还可以包括存储器903，存储器903用于存储必要的程序指令和数据。

本申请中，处理器901可用于从存储器903中调用本申请的一个或多个实施例提供的通信方法在终端设备、网络设备中一个或多个设备或网元的实现程序，并执行该程序包含的指令。接口902可用于输出处理器901的执行结果。本申请中，接口902可具体用于输出处理器901的各个消息或信息。

关于本申请的一个或多个实施例提供的通信方法可参考前述图2至图6c所示各个实施例，这里不再赘述。

本申请实施例中的处理器可以是中央处理单元(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

本申请实施例中的存储器用于提供存储空间，存储空间中可以存储操作系统和计算机程序等数据。存储器包括但不限于是随机存储记忆体(random access memory，RAM)、只读存储器(read-only memory，ROM)、可擦除可编程只读存储器(erasable programmableread only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)。

根据本申请实施例提供的方法，本申请实施例还提供一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，当上述计算机程序在一个或多个处理器上运行时，可以实现上述图2至图6c所示的方法。

根据本申请实施例提供的方法，本申请实施例还提供一种计算机程序产品，上述计算机程序产品包括计算机程序，当上述计算机程序在处理器上运行时，可以实现上述图2至图6c所示的方法。

本申请实施例还提供了一种系统，该系统包括至少一个如上述通信装置70或通信装置80或芯片90，用于执行上述图2至图6c任一实施例中相应设备执行的步骤。

本申请实施例还提供了一种系统，该系统包括终端设备和网络设备，该终端设备用于执行上述图2至图6c任一实施例中终端设备执行的步骤，该网络设备用于执行上述图2至图6c任一实施例中网络设备执行的步骤。

本申请实施例还提供了一种处理装置，包括处理器和接口；所述处理器用于执行上述任一方法实施例中的方法。

应理解，上述处理装置可以是一个芯片。例如，该处理装置可以是现场可编程门阵列(field programmable gate array，FPGA)，可以是通用处理器、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integratedcircuit，ASIC)、现成可编程门阵列(field programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，还可以是系统芯片(system onchip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(network processor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(micro controller unit，MCU)，还可以是可编程控制器(programmable logic device，PLD)或其他集成芯片。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

可以理解，本申请实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasable PROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(static RAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledata rateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如，高密度数字视频光盘(digital video disc，DVD))、或者半导体介质(例如，固态硬盘(solid state disc，SSD))等。

上述各个装置实施例中的单元和方法实施例中的电子设备完全对应，由相应的模块或单元执行相应的步骤，例如通信单元(收发器)执行方法实施例中接收或发送的步骤，除发送、接收外的其它步骤可以由处理单元(处理器)执行。具体单元的功能可以参考相应的方法实施例。其中，处理器可以为一个或多个。

可以理解的，本申请实施例中，电子设备可以执行本申请实施例中的部分或全部步骤，这些步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照本申请实施例呈现的不同的顺序来执行，并且有可能并非要执行本申请实施例中的全部操作。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (25)

1.一种通信方法，其特征在于，应用于终端设备，所述方法包括：

向网络设备发送第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

接收来自所述网络设备的第二消息，所述第二消息包括第一指示信息或第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备与所述网络设备分别部署所述第一模型中的第一子模型和第二子模型。

2.根据权利要求1所述的方法，其特征在于，在向网络设备发送第一消息之前，还包括：

基于所述第一模型和所述终端设备的资源信息确定所述终端设备能否独立执行所述推理任务；

所述向网络设备发送第一消息，包括：

在所述终端设备不能独立执行所述推理任务的情况下，向所述网络设备发送所述第一消息。

3.根据权利要求2所述的方法，其特征在于，在基于所述第一模型和所述终端设备的资源信息确定所述终端设备能否独立执行所述推理任务之前，还包括：

接收第三消息，所述第三消息包括所述第一模型和所述第一模型的识别信息。

4.根据权利要求1所述的方法，其特征在于，在向网络设备发送第一消息之前，还包括：

接收第四消息，所述第四消息包括所述网络设备中执行所述推理任务的第一网元的标识信息和所述第一模型的识别信息；

所述向网络设备发送第一消息，包括：

响应于所述第四消息，向所述网络设备发送所述第一消息，所述网络设备为所述第一网元。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

向所述第一模型所在的服务设备发送第五消息，所述第五消息包括所述第一指示信息或所述第二指示信息。

6.根据权利要求2或3所述的方法，其特征在于，所述第二消息还包括所述网络设备中执行所述推理任务的第一网元的标识信息。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：

在所述第二消息包括所述第一指示信息的情况下，向所述网络设备发送第六消息，所述第六消息用于请求所述网络设备独立执行所述推理任务，所述第六消息包括执行所述推理任务需要输入的第一数据；

接收第一推理结果，所述第一推理结果是基于所述第一数据得到的。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述方法还包括：

在所述第二消息包括所述第二指示信息的情况下，向所述网络设备发送第七消息，所述第七消息用于请求所述终端设备与所述网络设备联合执行所述推理任务，所述第七消息包括第二数据；所述第二数据是所述终端设备基于所述第一子模型对所述第一数据进行推理得到的，或者，所述第二数据是对所述第一数据进行预处理得到的，所述第一数据是执行所述推理任务需要输入的数据。

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

在所述第二指示信息指示所述网络设备基于所述第二子模型得到的推理结果为中间层特征的情况下，基于所述第一子模型对所述第二数据进行推理，得到第三数据；

接收来自所述网络设备的第四数据，所述第四数据是所述网络设备基于所述第二子模型对所述第二数据进行推理得到的；

基于所述第三数据和所述第四数据得到第二推理结果。

10.根据权利要求1-9任一项所述的方法，其特征在于，所述第一模型包括人工智能模型或机器学习模型。

11.一种通信方法，其特征在于，应用于网络设备，所述方法包括：

接收来自终端设备的第一消息，所述第一消息用于请求所述网络设备部署第一模型，所述第一消息包括所述第一模型的识别信息和所述终端设备的资源信息；

基于所述第一模型和所述终端设备的资源信息，生成第二消息，所述第二消息包括所述第一指示信息或所述第二指示信息，所述第一指示信息指示由所述网络设备独立执行所述第一模型的推理任务，所述第二指示信息指示由所述终端设备和所述网络设备联合执行所述推理任务，以及指示所述终端设备和所述网络设备分别部署所述第一模型中的第一子模型和第二子模型；

向所述终端设备发送所述第二消息。

12.根据权利要求11所述的方法，其特征在于，在接收来自终端设备的第一消息之前，还包括：

向所述终端设备发送第四消息，所述第四消息用于获取所述终端设备的资源信息，所述第四消息包括所述网络设备中执行所述推理任务的第一网元的标识信息、所述第一模型的识别信息。

13.根据权利要求11所述的方法，其特征在于，在接收来自终端设备的第一消息之前，还包括：向所述第一模型所在的服务设备发送第八消息，所述第八消息包括所述网络设备中执行所述推理任务的第一网元的标识信息。

14.根据权利要求12或13所述的方法，其特征在于，所述方法还包括：接收第三消息，所述第三消息包括所述第一模型和所述第一模型的识别信息。

15.根据权利要求11所述的方法，其特征在于，所述第一消息还包括所述第一模型。

16.根据权利要求14或15所述的方法，其特征在于，所述方法还包括：

基于所述第一模型的识别信息确定在所述网络设备中是否已存储所述第一模型；

在所述网络设备中未存储所述第一模型的情况下，存储所述第一模型；

在所述网络设备中已存储所述第一模型的情况下，调用所述第一模型；

确定所述网络设备中执行所述第一模型的推理任务的第一网元。

17.根据权利要求11-16任一项所述的方法，其特征在于，所述方法还包括：

在所述第二消息包括所述第一指示信息的情况下，接收来自终端设备的第六消息，所述第六消息用于请求所述网络设备独立执行所述推理任务，所述第六消息包括执行所述推理任务需要输入的第一数据；

基于所述第一数据独立执行所述推理任务，获得第一推理结果；

向所述终端设备发送所述第一推理结果。

18.根据权利要求11-17任一项所述的方法，其特征在于，所述方法还包括：

在所述第二消息包括所述第二指示信息的情况下，接收来自终端设备的第七消息，所述第七消息用于请求所述终端设备与所述网络设备联合执行所述推理任务，所述第七消息包括第二数据；所述第二数据是所述终端设备基于所述第一子模型对所述第一数据推理得到的，或者，所述第二数据是所述终端设备对所述第一数据进行预处理得到的，所述第一数据是执行所述推理任务需要输入的数据。

19.根据权利要求18所述的方法，其特征在于，所述方法还包括：

基于所述第二子模型对所述第二数据进行推理得到第四数据；

向所述终端设备发送所述第四数据。

20.一种通信装置，其特征在于，包括用于执行如权利要求1至10或权利要求11至19中任一项所述方法的单元。

21.一种通信装置，其特征在于，包括处理器，所述处理器用于执行如权利要求1至10或权利要求11至19中任一项所述的方法。

22.一种通信装置，其特征在于，包括逻辑电路和接口，所述逻辑电路和所述接口耦合；

所述接口用于输入和/或输出信息，所述逻辑电路用于执行如权利要求1至10或权利要求11至19中任一项所述的方法。

23.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储计算机程序，所述计算机程序被执行时，如权利要求1至10或权利要求11至19中任一项所述的方法被执行。

24.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被执行时，如权利要求1至10或权利要求11至19中任一项所述的方法被执行。

25.一种通信系统，其特征在于，包括以下至少一项：

终端设备，网络设备；

其中，所述终端设备用于执行如权利要求1至10中任一项所述的方法，所述网络设备用于执行如权利要求11至19中任一项所述的方法。