[go: up one dir, main page]

CN116546579A - 波束切换方法、装置及处理器可读存储介质 - Google Patents

波束切换方法、装置及处理器可读存储介质 Download PDF

Info

Publication number
CN116546579A
CN116546579A CN202210095304.5A CN202210095304A CN116546579A CN 116546579 A CN116546579 A CN 116546579A CN 202210095304 A CN202210095304 A CN 202210095304A CN 116546579 A CN116546579 A CN 116546579A
Authority
CN
China
Prior art keywords
beam switching
beams
state vector
quality information
time period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210095304.5A
Other languages
English (en)
Inventor
索士强
秦海超
黄秋萍
苏昕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Datang Mobile Communications Equipment Co Ltd
Original Assignee
Datang Mobile Communications Equipment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Datang Mobile Communications Equipment Co Ltd filed Critical Datang Mobile Communications Equipment Co Ltd
Priority to CN202210095304.5A priority Critical patent/CN116546579A/zh
Priority to PCT/CN2023/072416 priority patent/WO2023143200A1/zh
Publication of CN116546579A publication Critical patent/CN116546579A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/24—Reselection being triggered by specific parameters
    • H04W36/30—Reselection being triggered by specific parameters by measured or perceived connection quality data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H04B17/327—Received signal code power [RSCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/336—Signal-to-interference ratio [SIR] or carrier-to-interference ratio [CIR]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/391—Modelling the propagation channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W36/00—Hand-off or reselection arrangements
    • H04W36/0005—Control or signalling for completing the hand-off
    • H04W36/0083—Determination of parameters used for hand-off, e.g. generation or modification of neighbour cell lists
    • H04W36/0085—Hand-off measurements
    • H04W36/0094—Definition of hand-off measurement parameters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Quality & Reliability (AREA)
  • Mobile Radio Communication Systems (AREA)

Abstract

本申请提供一种波束切换方法，包括：获取第一时间段内多个第一波束分别对应的第一质量信息，多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给第一网络节点的第一质量信息；基于多个第一波束分别对应的第一质量信息，确定多个第一波束对应的第一平均信道质量；基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；至少一个第二时间段在第一时间段之前；基于第一状态向量，确定至少一个UE对应的波束切换阈值。该方法实现了对至少一个UE对应的波束切换阈值进行动态地调整，保证了适当的波束切换频率。

Description

波束切换方法、装置及处理器可读存储介质
技术领域
本申请涉及无线通信技术领域，具体而言，本申请涉及波束切换方法、装置及处理器可读存储介质。
背景技术
现有技术中，网络节点和UE(User Equipment，用户设备)之间的信道可能由于障碍物或者UE旋转移动发生改变，从而导致网络节点和UE之间的波束质量降低或者其他波束的质量比该波束质量更好；在这种情况下，为了获得更好的系统性能，网络节点和UE之间需要进行波束切换。在基于固定切换阈值的切换过程中，若固定切换阈值较小，虽然能够维持较好的系统性能，但会导致频繁切换，甚至导致不必要的切换，造成负载开销增加；若固定切换阈值较大，虽然能减少切换的频率，但有的切换不能及时触发，从而导致系统的性能得不到保证。
发明内容
本申请针对现有的方式的缺点，提出一种波束切换方法、装置及处理器可读存储介质，用以解决上述的技术缺陷。
第一方面，提供了一种波束切换方法，由第一网络节点执行，包括：
获取第一时间段内多个第一波束分别对应的第一质量信息，多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给第一网络节点的第一质量信息；
基于多个第一波束分别对应的第一质量信息，确定多个第一波束对应的第一平均信道质量；
基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；至少一个第二时间段在第一时间段之前；
基于第一状态向量，确定至少一个UE对应的波束切换阈值。
在一个实施例中，获取第一时间段内多个第一波束分别对应的第一质量信息，包括：
获取第一时间段内第二网络节点发送的第一质量信息；并接收至少一个UE发送的第一质量信息；
其中，第一质量信息包括信号与干扰噪声比SINR、接收功率RSRP、接收质量RSRQ中的至少一项。
在一个实施例中，基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量，包括：
将第一平均信道质量进行量化映射处理，得到第一平均信道质量对应的第一信息向量的值；并将第二平均信道质量进行量化映射处理，得到第二平均信道质量对应的第二信息向量的值；
基于第一信息向量和至少一个第二信息向量，得到第一状态向量。
在一个实施例中，基于第一状态向量，确定至少一个UE对应的波束切换阈值，包括：
将第一状态向量输入至第一关系模型，进行匹配处理，得到与第一状态向量相匹配的一个或多个奖励值，并将一个或多个奖励值中的最大奖励值对应的波束切换阈值，确定为UE对应的波束切换阈值；
其中，第一关系模型用于表征第一状态向量、奖励值和波束切换阈值之间的关系。
在一个实施例中，第一关系模型通过至少一个UE的第一指标变化对应的第一参数，以及波束切换代价对应的第二参数确定。
在一个实施例中，第一关系模型是通过以下方式训练得到的：
构建训练样本集合；基于训练样本集合，对关系模型进行训练，得到第一关系模型；
基于训练样本集合，对关系模型进行训练，至少包括：
将训练样本集合中的第二状态向量输入至关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对关系模型的模型参数进行更新，得到更新后的关系模型。
在一个实施例中，基于训练样本集合，对关系模型进行训练，还包括：
在未达到终止条件时，重复执行以下步骤：
将训练样本集合中的第二状态向量输入至更新后的关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和更新后的关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对更新后的关系模型的模型参数进行更新，得到更新后的关系模型。
在一个实施例中，在基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值之后，还包括：
判断是否达到终止条件；
若确定达到终止条件，则得到第一关系模型；
终止条件为以下中的一项：
损失函数值小于或等于损失函数值阈值；或者，
损失函数值大于或等于损失函数值阈值。
在一个实施例中，将至少一个UE发送给第一网络节点的第一质量信息，发送给第二网络节点。
第二方面，提供了一种波束切换方法，由UE执行，包括：
向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使第一网络节点获取第一时间段内多个波束分别对应的第一质量信息，并基于多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定UE对应的波束切换阈值；
接收第一网络节点发送的UE对应的波束切换阈值，并基于波束切换阈值进行波束切换。
第三方面，提供了一种波束切换装置，应用于第一网络节点，包括存储器，收发机，处理器：
存储器，用于存储计算机程序；收发机，用于在处理器的控制下收发数据；处理器，用于读取存储器中的计算机程序并执行以下操作：
获取第一时间段内多个第一波束分别对应的第一质量信息，多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给第一网络节点的第一质量信息；
基于多个第一波束分别对应的第一质量信息，确定多个第一波束对应的第一平均信道质量；
基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；至少一个第二时间段在第一时间段之前；
基于第一状态向量，确定至少一个UE对应的波束切换阈值。
第四方面，提供了一种波束切换装置，应用于UE，包括存储器，收发机，处理器：
存储器，用于存储计算机程序；收发机，用于在处理器的控制下收发数据；处理器，用于读取存储器中的计算机程序并执行以下操作：
向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使第一网络节点获取第一时间段内多个波束分别对应的第一质量信息，并基于多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定UE对应的波束切换阈值；
接收第一网络节点发送的UE对应的波束切换阈值，并基于波束切换阈值进行波束切换。
第五方面，本申请提供了一种波束切换装置，应用于第一网络节点，包括：
第一处理单元，用于获取第一时间段内多个第一波束分别对应的第一质量信息，多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给第一网络节点的第一质量信息；
第二处理单元，用于基于多个第一波束分别对应的第一质量信息，确定多个第一波束对应的第一平均信道质量；
第三处理单元，用于基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；至少一个第二时间段在所述第一时间段之前；
第四处理单元，用于基于第一状态向量，确定至少一个UE对应的波束切换阈值。
第六方面，本申请提供了一种波束切换装置，应用于UE，包括：
第五处理单元，用于向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使第一网络节点获取所述第一时间段内多个波束分别对应的第一质量信息，并基于多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定UE对应的波束切换阈值；
第六处理单元，用于接收第一网络节点发送的UE对应的波束切换阈值，并基于波束切换阈值进行波束切换。
第七方面，提供了一种处理器可读存储介质，其特征在于，处理器可读存储介质存储有计算机程序，计算机程序用于使处理器执行第一方面和第二方面所述的方法。
本申请实施例提供的技术方案，至少具有如下有益效果：
实现了对至少一个UE对应的波束切换阈值进行动态地调整，从而在能够保持系统性能的同时，也可以保证适当的波束切换频率。
本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的系统架构的示意图；
图2为本申请实施例提供的一种波束切换方法的流程示意图；
图3为本申请实施例提供的波束切换的示意图；
图4为本申请实施例提供的另一种波束切换方法的流程示意图；
图5为本申请实施例提供的强化学习的流程示意图；
图6为本申请实施例提供的又一种波束切换方法的流程示意图；
图7为本申请实施例提供的又一种波束切换方法的流程示意图；
图8为本申请实施例提供的SINR统计的示意图；
图9为本申请实施例提供的SINR统计的示意图；
图10为本申请实施例提供的切换次数统计的示意图；
图11为本申请实施例提供的一种波束切换装置的结构示意图；
图12为本申请实施例提供的一种波束切换装置的结构示意图；
图13为本申请实施例提供的一种波束切换装置的结构示意图；
图14为本申请实施例提供的一种波束切换装置的结构示意图。
具体实施方式
下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
本申请实施例中术语“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请实施例中术语“多个”是指两个或两个以上，其它量词与之类似。
本申请中的“基于A确定B”表示确定B时要考虑A这个因素。并不限于“只基于A就可以确定出B”，还应包括：“基于A和C确定B”、“基于A、C和E确定B”、基于“A确定C，基于C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如,“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
本申请中的“根据A确定B”表示确定B时要考虑A这个因素。并不限于“只根据A就可以确定出B”，还应包括：“根据A和C确定B”、“根据A、C和E确定B”、根据“A确定C，根据C进一步确定B”等。另外还可以包括将A作为确定B的条件，例如,“当A满足第一条件时，使用第一方法确定B”；再例如，“当A满足第二条件时，确定B”等；再例如，“当A满足第三条件时，基于第一参数确定B”等。当然也可以是将A作为确定B的因素的条件，例如，“当A满足第一条件时，使用第一方法确定C，并进一步基于C确定B”等。
为了更好的理解及说明本公开实施例的方案，下面对本公开实施例中所涉及到的一些技术用语进行简单说明。
(1)波束切换技术
随着通信系统对数据流量需求的不断增加，毫米波技术成为5G(5th GenerationMobile Communication Technology，第五代移动通信技术)中的关键技术。而由于毫米波的高频率特性，其链路可能会遭受严重的路径损失，为了克服这一缺点，毫米波通信系统需要使用基于波束形成的Massive MIMO(Multiple-input Multiple-output，大规模多入多出技术)技术。波束形成技术能有效地提高移动通信系统的频谱效率，然而每个波束的覆盖范围有限，需要波束切换来维持良好的系统性能。例如当UE离开服务波束的覆盖范围时，该服务波束将不再适合该UE，需要进行波束切换，或网络节点和UE之间存在障碍物使得当前服务波束质量骤降，也需要进行波束切换。
在实际应用场景中，网络节点例如毫米波基站，由于覆盖范围较小，所以毫米波基站部署密度要比LTE(Long Term Evolution，长期演进)基站高。在使用波束的毫米波网络中，波束切换不仅发生在毫米波基站之间，而且还发生在同一毫米波基站内部的波束之间。毫米波基站的密集部署和波束的使用将进一步增加波束切换的频率，这可能限制实际系统的性能，所以需要对波束切换过程进行优化。
在波束管理过程中，波束扫描和报告周期地执行，基于波束报告的结果，当前服务波束的质量发生波动时，可以进行波束切换以获得更好的通信性能。针对该类型的波束切换，可以对切换的参数进行优化以提升系统性能并减少波束故障的概率，同时减少波束切换次数以减少系统的负载开销。
(2)基于固定阈值(固定切换阈值)的波束切换
网络节点例如基站，基于测量报告的波束切换包括两部分的切换：一部分是跨基站的波束切换，另一部分是基站内部的波束切换。经过实际的仿真统计，大部分的波束切换是发生在不同基站之间。因此参考小区切换的模式中的A3事件，UE在接入网络节点，例如AP(Access Point，接入点)之后，波束扫描周期性地进行，UE对所有波束进行波束测量后，保存最佳的N个波束序号及其质量，并得到候选波束，UE反馈相关的波束信息(例如SINR(Signal to Interference plus Noise Ratio，信号与干扰噪声比)等)至AP，AP依据固定阈值的判定方法进行波束是否进行切换的判断。
以SINR作为波束质量的参考指标；每次上报所有波束质量进行切换的触发判断。固定阈值的判定方法相关的参数有：TTT(Time-to-trigger，触发时间)、HM(HysteresisMargin，迟滞阈值)等。HM表示当前服务波束的SINR与目标波束的SINR的最小差值，该阈值记作Δ，TTT表示目标波束满足触发差值的条件持续一定时间。在基于固定阈值的切换设置中，如果测量到其他的波束比当服务波束的质量更好，且超过一定阈值Δ，并且该条件保持了一段时间(TTT)，那么就会触发波束切换。切换判定流程包括：AP基于上报的波束质量，判断候选波束是否进入波束切换的判定过程，若满足SINRserve+Δ＜SINRcandidate的条件，则进入切换判定，该判定过程需要持续TTT时间；在进入切换判定过程后，若在TTT时间内均满足SINRserve+Δ＜SINRcandidate的条件，则在判定结束后发生波束切换，服务波束切换为该候选波束；若某时刻不满足上述条件，则中断判定过程，此次判定结束，不发生波束切换。
在切换判定流程中，选取波束报告中每个UE测量结果中SINR最大的波束为候选波束，加入候选波束集；若该候选波束为其他用户的服务波束，为避免波束冲突，则选择SINR第二大的波束为候选波束，并以此后推。若候选波束满足阈值的要求，则触发切换判定过程。在波束切换的判定过程中，候选波束不会再被其他用户选择，同时该用户也不会再选择其他波束进行切换判定，直到一次波束切换判定结束。
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，并不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例提供的一种系统架构的示意图如图1所示，该系统架构包括：UE和网络节点，其中，UE例如图1中的UE110、UE111、UE112和UE113，网络节点例如图1中网络节点120和网络节点121。网络节点部署在接入网中，例如，网络节点部署在5G系统中的接入网NG-RAN(New Generation-Radio Access Network，新一代无线接入网)。UE和网络节点之间通过某种空口技术互相通信，例如可以通过蜂窝技术相互通信。
本申请实施例涉及的UE，可以是指向用户提供语音和/或数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备等。UE的类型包括手机、车辆用户终端、平板电脑、膝上型电脑、个人数字助理、移动上网装置、可穿戴式设备等。
本申请实施例涉及的网络节点可以是基站，该基站可以包括多个为终端提供服务的小区。根据具体应用场合不同，基站又可以称为接入点AP，或者可以是接入网中在空中接口上通过一个或多个扇区与无线终端设备通信的设备，或者其它名称。网络节点可用于将收到的空中帧与网际协议(Internet Protocol，IP)分组进行相互更换，作为无线终端设备与接入网的其余部分之间的路由器，其中接入网的其余部分可包括网际协议(IP)通信网络。网络节点还可协调对空中接口的属性管理。例如，本申请实施例涉及的网络节点可以是全球移动通信系统(Global System for Mobile communications，GSM)或码分多址接入(Code Division Multiple Access，CDMA)中的网络设备(Base Transceiver Station，BTS)，也可以是带宽码分多址接入(Wide-band Code Division Multiple Access，WCDMA)中的网络设备(NodeB)，还可以是长期演进(long term evolution，LTE)系统中的演进型网络设备(evolutional Node B，eNB或e-NodeB)、5G网络架构(next generation system)中的5G基站(gNB)、超5代移动通信系统(B5G)中的B5G基站、6G(6th Generation MobileCommunication Technology，第六代移动通信技术)网络架构中的6G基站，也可以是家庭演进基站(Home evolved Node B，HeNB)、中继节点(relay node)、家庭基站(femto)、微微基站(pico)、毫米波基站等，本申请实施例中并不限定。在一些网络结构中，网络节点可以包括集中单元(centralized unit，CU)节点和分布单元(distributed unit，DU)节点，集中单元和分布单元也可以地理上分开布置。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
本申请实施例中提供了一种波束切换方法，由第一网络节点执行，该方法的流程示意图如图2所示，该方法包括：
S201，获取第一时间段内多个第一波束分别对应的第一质量信息，多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给第一网络节点的第一质量信息。
具体地，第一网络节点获取第一时间段内至少一个第二网络节点的多个波束分别对应的第一质量信息；并接收至少一个UE发送的第一质量信息；其中，第一质量信息可以包括SINR、RSRP(Reference Signal Receiving Power，接收功率)、RSRQ(Reference SignalReceiving Quality，接收质量)中的至少一项。例如，第一网络节点获得第一时间段内20个第一波束分别对应的第一质量信息，即在第一时间段内，第一网络节点获得了20个第一质量信息，这20个第一质量信息包括一个或多个第二网络节点发送给第一网络节点的10个第一质量信息，以及10个UE分别发送给第一网络节点的第一质量信息。
S202，基于多个第一波束分别对应的第一质量信息，确定多个第一波束对应的第一平均信道质量。
具体地，例如，第一网络节点获得了20个第一质量信息，第一质量信息为SINR，这20个第一质量信息为20个SINR，则计算这20个SINR的平均值，并将这20个SINR的平均值作为第一平均信道质量。
S203，基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；至少一个第二时间段在第一时间段之前。
具体地，如图3所示，滑动窗口包括N个时间窗口，这N个时间窗口分别是第一个时间窗口、第二个时间窗口、第三个时间窗口、…第N个时间窗口，第一个时间窗口、第二个时间窗口、第三个时间窗口、…第N个时间窗口的时间长度可以预先设定，N为正整数。第一时间段为第一个时间窗口，第一个时间窗口为当前窗口；多个第二时间段可以分别为第二个时间窗口、第三个时间窗口、…第N个时间窗口，其中，第二个时间窗口、第三个时间窗口、…第N个时间窗口都为历史窗口；第一个时间窗口平均信道质量可以为第一平均信道质量，第二个时间窗口平均信道质量可以为第二平均信道质量、第三个时间窗口平均信道质量可以为第二平均信道质量、…第N个时间窗口平均信道质量可以为第二平均信道质量；第二个时间窗口平均信道质量、第三个时间窗口平均信道质量、…第N个时间窗口平均信道质量之间可以不同；第一个时间窗口平均信道质量可以用SINR1表示，第二个时间窗口平均信道质量、第三个时间窗口平均信道质量、…第N个时间窗口平均信道质量可以分别用SINR2、SINR3、…SINRN表示。
需要说明的是，考虑到系统性能随时间的变化趋势，以及避免未来某些不必要的波束切换发生，采用滑动窗口可以考虑到历史经验的影响。
S204，基于第一状态向量，确定至少一个UE对应的波束切换阈值。
具体地，波束切换阈值可以包括TTT、HM等。
本申请实施例中，实现了对至少一个UE对应的波束切换阈值进行动态地调整，从而在能够保持系统性能的同时，也可以保证适当的波束切换频率。
在一个实施例中，获取第一时间段内多个第一波束分别对应的第一质量信息，包括：
获取第一时间段内第二网络节点发送的第一质量信息；并接收至少一个UE发送的第一质量信息；
其中，第一质量信息包括信号与干扰噪声比SINR、接收功率RSRP、接收质量RSRQ中的至少一项。
在一个实施例中，第一网络节点可以获取第一时间段内至少一个第二网络节点的多个波束分别对应的第一质量信息；并接收至少一个UE发送的第一质量信息。
在一个实施例中，基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量，包括：
将第一平均信道质量进行量化映射处理，得到第一平均信道质量对应的第一信息向量的值；并将第二平均信道质量进行量化映射处理，得到第二平均信道质量对应的第二信息向量的值；
基于第一信息向量和至少一个第二信息向量，得到第一状态向量。
具体地，第一信息向量的值和第二信息向量的值都为离散值，第一信息向量的值和第二信息向量的值可以用于表征信号强度等级，信号强度等级可以为1、2、3、…m等，其中，m为正整数。又例如，第一信息向量为b1，多个第二信息向量可以分别为b2、b3、…bn，则第一状态向量为(b1，b2，b3，…bn)。
在一个实施例中，基于第一状态向量，确定至少一个UE对应的波束切换阈值，包括：
将第一状态向量输入至第一关系模型，进行匹配处理，得到与第一状态向量相匹配的一个或多个奖励值，并将一个或多个奖励值中的最大奖励值对应的波束切换阈值，确定为UE对应的波束切换阈值；
其中，第一关系模型用于表征第一状态向量、奖励值和波束切换阈值之间的关系。
具体地，第一关系模型可以为表格，该表格可以用于表征第一状态向量、奖励值和波束切换阈值之间的关系。奖励值可以用于表征UE基于UE对应的波束切换阈值，进行波束切换的效果。最大奖励值可以用于表征UE基于UE对应的波束切换阈值，进行波束切换的最好效果。
在一个实施例中，第一关系模型通过至少一个UE的第一指标变化对应的第一参数，以及波束切换代价对应的第二参数确定。
具体地，第一指标可以包括信道容量、信噪比、误块率BLER中的至少一项。
在一个实施例中，第一关系模型可以为表格，该表格可以通过至少一个UE的信道容量变化对应的第一参数，以及波束切换代价对应的第二参数确定。
具体地，至少一个UE的信道容量变化对应的第一参数可以是波束切换代价对应的第二参数可以是βc*Hn，其中，/>表示状态向量对应的波束切换阈值导致/>的容量变化，/>表示至少一个UE的信道容量C的平均值，βc为预设的惩罚因子，Hn为平均切换次数。
在一个实施例中，第一关系模型是通过以下方式训练得到的：
构建训练样本集合；基于训练样本集合，对关系模型进行训练，得到第一关系模型；
基于训练样本集合，对关系模型进行训练，至少包括：
将训练样本集合中的第二状态向量输入至关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对关系模型的模型参数进行更新，得到更新后的关系模型。
在一个实施例中，在基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值之后，还包括：
判断是否达到终止条件；
若确定达到终止条件，则得到第一关系模型；
终止条件为以下中的一项：
损失函数值小于或等于损失函数值阈值；或者，
损失函数值大于或等于损失函数值阈值。
具体的，将训练样本集合中的第二状态向量输入至关系模型，确定第二状态向量对应的波束切换阈值；基于第二状态向量对应的波束切换阈值，通过奖励函数，得到第二状态向量对应的奖励值；将第二状态向量和第二状态向量对应的奖励值代入关系模型对应的损失函数得到损失函数值，并基于损失函数值，对关系模型的模型参数进行更新处理。直至达到终止条件，将达到终止条件时的关系模型作为第一关系模型。
在一个实施例中，基于训练样本集合，对关系模型进行训练，还包括：
在未达到终止条件时，重复执行以下步骤：
将训练样本集合中的第二状态向量输入至更新后的关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和更新后的关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对更新后的关系模型的模型参数进行更新，得到更新后的关系模型。
具体地，若第一指标为信道容量，将训练样本集合中的第二状态向量输入至关系模型，基于贪婪策略，确定第二状态向量对应的波束切换阈值；第二状态向量用于表征各训练时间段内的多个波束的平均信道质量。
基于第二状态向量对应的波束切换阈值，通过奖励函数，得到第二状态向量对应的奖励值；其中，奖励函数如公式(1)所示：
其中，表示第二状态向量对应的波束切换阈值导致/>的容量变化，/>表示至少一个UE的信道容量C的平均值，βc为预设的惩罚因子，Hn为平均切换次数。
第一关系模型可以部署在网络节点中。
在一个实施例中，将至少一个UE发送给第一网络节点的第一质量信息，发送给第二网络节点。
具体地，第一网络节点可以将第一质量信息作为边信息，与其他网络节点(例如，一个或多个第二网络节点)进行共享；其中，边信息是可以在各网络节点之间进行共享的信息。
本申请实施例中提供了另一种波束切换方法，由UE执行，该方法的流程示意图如图4所示，该方法包括：
S401，向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使第一网络节点获取第一时间段内多个波束分别对应的第一质量信息，并基于多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定UE对应的波束切换阈值。
S402，接收第一网络节点发送的UE对应的波束切换阈值，并基于波束切换阈值进行波束切换。
需要说明的是，若UE测量到除服务波束之外的其他波束比服务波束(例如第一波束)的质量更好，则可以基于波束切换阈值，触发波束切换，使UE从服务波束切换到其他波束。
本申请实施例中，实现了对UE对应的波束切换阈值进行动态地调整，从而在能够保持系统性能的同时，也可以保证适当的波束切换频率。
通过如下实施例来对本申请上述实施例的波束切换方法进行全面详尽的介绍：
本申请实施例中提供了波束切换场景下的强化学习，该强化学习的流程示意图如图5所示，包括：
S501，预先设置波束切换阈值。
具体地，波束切换阈值可以包括TTT、HM等。
S502，构建训练样本集合。
具体地，训练样本集合中的每个状态向量可以用于表征一个训练时间段内的多个波束的平均信道质量。
S503，预先设置奖励函数。
具体地，设置如公式(1)所示的奖励函数。
S504，基于训练样本集合，训练关系模型，得到训练后的关系模型。
具体地，训练后的关系模型为第一关系模型。根据Q-learning算法，基于训练样本集合，训练关系模型。关系模型可以为表格，该表格可以是Q-learning算法中的Q-table(Q表)，该表格可以用于表征状态向量、奖励值和波束切换阈值之间的关系；将训练样本集合中的状态向量输入至表格，确定状态向量对应的波束切换阈值；基于状态向量对应的波束切换阈值，通过奖励函数，得到状态向量对应的奖励值；将状态向量和状态向量对应的奖励值代入表格对应的损失函数得到损失函数值，并基于损失函数值，对表格的模型参数进行更新处理。重复执行以下步骤：将训练样本集合中的状态向量输入至表格，确定状态向量对应的波束切换阈值；基于状态向量对应的波束切换阈值，通过奖励函数，得到状态向量对应的奖励值；将状态向量和状态向量对应的奖励值代入表格对应的损失函数得到损失函数值，并基于损失函数值，对表格的模型参数进行更新处理。直至达到终止条件，将达到终止条件时的表格作为第一表格(训练后的关系模型)；其中，终止条件可以为损失函数值小于或等于损失函数值阈值。
S505，将训练后的关系模型部署在网络节点中。
具体地，训练后的关系模型可以为第一表格，将该第一表格部署在网络节点中。
本申请实施例中提供了又一种波束切换方法，该方法的流程示意图如图6所示，该方法包括：
S601，网络节点发送用于波束扫描的参考信号给UE。
具体地，参考信号可以是SSB(Synchronization Signal Block，同步信号块)。
S602，UE进行波束测量，得到服务波束对应的质量信息。
S603，UE将服务波束对应的质量信息和候选波束对应的质量信息反馈给网络节点。
S604，网络节点将服务波束对应的质量信息作为边信息，并将该边信息与其他网络节点进行共享。
需要说明的是，若没有其他网络节点，则不需要步骤S604；服务波束对应的的质量信息可以是SINR、RSRP或RSRQ。
S605，网络节点基于全部边信息，确定状态向量，并基于强化学习训练得到的关系模型，查找UE对应的波束切换阈值。
具体地，网络节点存储全部边信息，全部边信息为服务波束对应的边信息，以及其他网络节点向网络节点发送的边信息。
S606，网络节点基于波束切换阈值，进行波束切换决策；若网络节点确定UE从服务波束切换到其他波束，则网络节点指示UE从服务波束切换到其他波束，并转到步骤S607执行。
具体地，其他波束可以是候选波束。
S607，UE进行波束切换。
本申请实施例中提供了又一种波束切换方法，该方法应用在多AP毫米波网络场景，该场景的拓扑结构为：在半径为30m的场景下，均匀部署3个AP和7个用户；其中，这7个用户中的3个用户以5km/h(公里/时)的运动速度沿某路径进行直线运动，这3个AP中的每个AP有32个波束，采用混合波束成形技术，波束扫描的周期设定为10ms，当UE满足波束切换的条件时进行切换。该方法的流程示意图如图7所示，该方法包括：
S701，网络节点通过贪婪策略，确定波束切换阈值。
具体地，波束切换阈值的可选项：(HM＝1dB和TTT＝100ms)、(HM＝1dB和TTT＝100ms)、(HM＝3dB和TTT＝100ms)、(HM＝5dB和TTT＝100ms)、(HM＝7dB和TTT＝100ms)等。
S702，UE基于波束切换阈值，执行波束切换。
S703，网络节点通过滑动窗口，确定第二状态向量。
例如，滑动窗口包括5个时间窗口，即滑动窗口的长度为5个，这5个时间窗口分别是第一个时间窗口、第二个时间窗口、第三个时间窗口、第四个时间窗口和第五个时间窗口，第一个时间窗口的时间长度为10ms，第二个时间窗口、第三个时间窗口、第四个时间窗口和第五个时间窗口的时间长度都为40ms。
S704，网络节点通过奖励函数，更新Q表。
具体地，根据公式(1)所示的奖励函数进行强化学习训练，即进行关系模型的训练，该关系模型为Q表，其中，奖励函数中惩罚因子βc可以设定为0.75。
S705，网络节点将更新后的Q表部署到网络节点中；分别转到步骤S701和S706执行。
S706，网络节点确定第一状态向量，通过查Q表，得到波束切换阈值。
具体地，第一状态向量可以为(b1，b2，b3，…bn)。b1，b2，b3，…bn的值可以用于表征信号强度等级，信号强度等级可以为1、2、3、…m等，例如，信号强度等级取值为1、2、3、4和5，即信号强度等级共有5个等级。
S707，网络节点进行波束切换判定。
S708，网络节点进行周期性波束扫描。
S709，UE进行波束测量。
S710，UE反馈波束对应的质量信息；转到步骤S706执行。
具体地，质量信息可以为SINR、RSRP或RSRQ。
需要说明的是，步骤S701-S705为强化学习训练中的步骤，每次强化学习训练的更新间隔T可以为10ms(毫秒)；步骤S706-S710为线上执行中的步骤。
在一个实施例中，如图8和图9所示(图9为图8的放大图)，基于固定阈值，服务波束对应的SINR在20s(秒)时间内的CDF(Cumulative Distribution Function，累积分布函数)统计结果；本申请基于强化学习(例如Q-learning)的波束切换方法，服务波束对应的SINR在20s时间内的CDF统计结果；本申请基于强化学习的波束切换在性能方面较优。
在一个实施例中，如图10所示，本申请基于强化学习(例如Q-learning)的波束切换，发生波束切换的次数是最少的。
基于相同的发明构思，本申请实施例还提供了一种波束切换装置，应用于第一网络节点，该装置的结构示意图如图11所示，收发机1300，用于在处理器1310的控制下接收和发送数据。
其中，在图11中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1310代表的一个或多个处理器和存储器1320代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1300可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括无线信道、有线信道、光缆等传输介质。处理器1310负责管理总线架构和通常的处理，存储器1320可以存储处理器1310在执行操作时所使用的数据。
处理器1310可以是中央处埋器(CPU)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或复杂可编程逻辑器件(Complex Programmable Logic Device，CPLD)，处理器也可以采用多核架构。
处理器1310，用于读取所述存储器中的计算机程序并执行以下操作：
获取第一时间段内多个第一波束分别对应的第一质量信息，多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给第一网络节点的第一质量信息；
基于多个第一波束分别对应的第一质量信息，确定多个第一波束对应的第一平均信道质量；
基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；至少一个第二时间段在第一时间段之前；
基于第一状态向量，确定至少一个UE对应的波束切换阈值。
在一个实施例中，获取第一时间段内多个第一波束分别对应的第一质量信息，包括：
获取第一时间段内第二网络节点发送的第一质量信息；并接收至少一个UE发送的第一质量信息；
其中，第一质量信息包括信号与干扰噪声比SINR、接收功率RSRP、接收质量RSRQ中的至少一项。
在一个实施例中，基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量，包括：
将第一平均信道质量进行量化映射处理，得到第一平均信道质量对应的第一信息向量的值；并将第二平均信道质量进行量化映射处理，得到第二平均信道质量对应的第二信息向量的值；
基于第一信息向量和至少一个第二信息向量，得到第一状态向量。
在一个实施例中，基于第一状态向量，确定至少一个UE对应的波束切换阈值，包括：
将第一状态向量输入至第一关系模型，进行匹配处理，得到与第一状态向量相匹配的一个或多个奖励值，并将一个或多个奖励值中的最大奖励值对应的波束切换阈值，确定为UE对应的波束切换阈值；
其中，第一关系模型用于表征第一状态向量、奖励值和波束切换阈值之间的关系。
在一个实施例中，第一关系模型通过至少一个UE的第一指标变化对应的第一参数，以及波束切换代价对应的第二参数确定。
在一个实施例中，第一关系模型是通过以下方式训练得到的：
构建训练样本集合；基于训练样本集合，对关系模型进行训练，得到第一关系模型；
基于训练样本集合，对关系模型进行训练，至少包括：
将训练样本集合中的第二状态向量输入至关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对关系模型的模型参数进行更新，得到更新后的关系模型。
在一个实施例中，基于训练样本集合，对关系模型进行训练，还包括：
在未达到终止条件时，重复执行以下步骤：
将训练样本集合中的第二状态向量输入至更新后的关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和更新后的关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对更新后的关系模型的模型参数进行更新，得到更新后的关系模型。
在一个实施例中，在基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值之后，还包括：
判断是否达到终止条件；
若确定达到终止条件，则得到第一关系模型；
终止条件为以下中的一项：
损失函数值小于或等于损失函数值阈值；或者，
损失函数值大于或等于损失函数值阈值。
在一个实施例中，将至少一个UE发送给第一网络节点的第一质量信息，发送给第二网络节点。
在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
基于相同的发明构思，本申请实施例还提供了一种波束切换装置，应用于UE，该装置的结构示意图如图12所示，收发机1400，用于在处理器1410的控制下接收和发送数据。
其中，在图12中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器1410代表的一个或多个处理器和存储器1420代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机1400可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元，这些传输介质包括，这些传输介质包括无线信道、有线信道、光缆等传输介质。针对不同的用户设备，用户接口1430还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
处理器1410负责管理总线架构和通常的处理，存储器1420可以存储处理器1410在执行操作时所使用的数据。
可选的，处理器1410可以是CPU(中央处埋器)、ASIC(Application SpecificIntegrated Circuit，专用集成电路)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)或CPLD(Complex Programmable Logic Device，复杂可编程逻辑器件)，处理器也可以采用多核架构。
处理器通过调用存储器存储的计算机程序，用于按照获得的可执行指令执行本申请实施例提供的第二方面所述的方法。处理器与存储器也可以物理上分开布置。
处理器1410，用于读取存储器1420中的计算机程序并执行以下操作：
向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使第一网络节点获取第一时间段内多个波束分别对应的第一质量信息，并基于多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定UE对应的波束切换阈值；
接收第一网络节点发送的UE对应的波束切换阈值，并基于波束切换阈值进行波束切换。
在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
基于前述实施例相同的发明构思，本申请实施例还提供了一种波束切换装置，应用于第一网络节点，该装置的结构示意图如图13所示，波束切换装置80，包括第一处理单元801、第二处理单元802、第三处理单元803和第四处理单元804。
第一处理单元801，用于获取第一时间段内多个第一波束分别对应的第一质量信息，多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给第一网络节点的第一质量信息；
第二处理单元802，用于基于多个第一波束分别对应的第一质量信息，确定多个第一波束对应的第一平均信道质量；
第三处理单元803，用于基于多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；至少一个第二时间段在所述第一时间段之前；
第四处理单元804，用于基于第一状态向量，确定至少一个UE对应的波束切换阈值。
在一个实施例中，第一处理单元801，具体用于：
获取第一时间段内第二网络节点发送的第一质量信息；并接收至少一个UE发送的第一质量信息；
其中，第一质量信息包括信号与干扰噪声比SINR、接收功率RSRP、接收质量RSRQ中的至少一项。
在一个实施例中，第三处理单元803，具体用于：
将第一平均信道质量进行量化映射处理，得到第一平均信道质量对应的第一信息向量的值；并将第二平均信道质量进行量化映射处理，得到第二平均信道质量对应的第二信息向量的值；
基于第一信息向量和至少一个第二信息向量，得到第一状态向量。
在一个实施例中，第四处理单元804，具体用于：
将第一状态向量输入至第一关系模型，进行匹配处理，得到与第一状态向量相匹配的一个或多个奖励值，并将一个或多个奖励值中的最大奖励值对应的波束切换阈值，确定为UE对应的波束切换阈值；
其中，第一关系模型用于表征第一状态向量、奖励值和波束切换阈值之间的关系。
在一个实施例中，第一关系模型通过至少一个UE的第一指标变化对应的第一参数，以及波束切换代价对应的第二参数确定。
在一个实施例中，第一关系模型是通过以下方式训练得到的：
构建训练样本集合；基于训练样本集合，对关系模型进行训练，得到第一关系模型；
基于训练样本集合，对关系模型进行训练，至少包括：
将训练样本集合中的第二状态向量输入至关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对关系模型的模型参数进行更新，得到更新后的关系模型。
在一个实施例中，基于训练样本集合，对关系模型进行训练，还包括：
在未达到终止条件时，重复执行以下步骤：
将训练样本集合中的第二状态向量输入至更新后的关系模型，确定第二状态向量对应的波束切换阈值；
基于第二状态向量对应的波束切换阈值和奖励函数，确定第二状态向量对应的奖励值；
基于第二状态向量、第二状态向量对应的奖励值和更新后的关系模型对应的损失函数，确定损失函数值；
基于损失函数值，对更新后的关系模型的模型参数进行更新，得到更新后的关系模型。
在一个实施例中，在基于第二状态向量、第二状态向量对应的奖励值和关系模型对应的损失函数，确定损失函数值之后，还包括：
判断是否达到终止条件；
若确定达到终止条件，则得到第一关系模型；
终止条件为以下中的一项：
损失函数值小于或等于损失函数值阈值；或者，
损失函数值大于或等于损失函数值阈值。
在一个实施例中，第一处理单元801，还用于：
将至少一个UE发送给第一网络节点的第一质量信息，发送给第二网络节点。
在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
基于前述实施例相同的发明构思，本申请实施例还提供了一种波束切换装置，应用于UE，该装置的结构示意图如图14所示，波束切换装置90，包括第五处理单元901和第六处理单元902。
第五处理单元901，用于向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使第一网络节点获取所述第一时间段内多个波束分别对应的第一质量信息，并基于多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定UE对应的波束切换阈值；
第六处理单元902，用于接收第一网络节点发送的UE对应的波束切换阈值，并基于波束切换阈值进行波束切换。
在此需要说明的是，本发明实施例提供的上述装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
基于相同的发明构思，本申请实施例还提供了一种处理器可读存储介质，存储有计算机程序，该计算机程序用于被处理器执行时实现本申请实施例中任意一个实施例或任意一种可选实施方式提供的任意一种小区切换的时间确定方法的步骤。
处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(MO)等)、光学存储器(例如CD、DVD、BD、HVD等)、以及半导体存储器(例如ROM、EPROM、EEPROM、非易失性存储器(NAND FLASH)、固态硬盘(SSD))等。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机可执行指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机可执行指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些处理器可执行指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的处理器可读存储器中，使得存储在该处理器可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些处理器可执行指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种波束切换方法，由第一网络节点执行，其特征在于，包括：
获取第一时间段内多个第一波束分别对应的第一质量信息，所述多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给所述第一网络节点的第一质量信息；
基于所述多个第一波束分别对应的第一质量信息，确定所述多个第一波束对应的第一平均信道质量；
基于所述多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；所述至少一个第二时间段在所述第一时间段之前；
基于所述第一状态向量，确定所述至少一个UE对应的波束切换阈值。
2.根据权利要求1所述的方法，其特征在于，所述获取第一时间段内多个第一波束分别对应的第一质量信息，包括：
获取第一时间段内第二网络节点发送的第一质量信息；并接收所述至少一个UE发送的第一质量信息；
其中，所述第一质量信息包括信号与干扰噪声比SINR、接收功率RSRP、接收质量RSRQ中的至少一项。
3.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量，包括：
将所述第一平均信道质量进行量化映射处理，得到所述第一平均信道质量对应的第一信息向量的值；并将所述第二平均信道质量进行量化映射处理，得到所述第二平均信道质量对应的第二信息向量的值；
基于所述第一信息向量和至少一个所述第二信息向量，得到第一状态向量。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一状态向量，确定所述至少一个UE对应的波束切换阈值，包括：
将所述第一状态向量输入至第一关系模型，进行匹配处理，得到与所述第一状态向量相匹配的一个或多个奖励值，并将所述一个或多个奖励值中的最大奖励值对应的波束切换阈值，确定为所述UE对应的波束切换阈值；
其中，所述第一关系模型用于表征所述第一状态向量、奖励值和波束切换阈值之间的关系。
5.根据权利要求4所述的方法，其特征在于，所述第一关系模型通过所述至少一个UE的第一指标变化对应的第一参数，以及波束切换代价对应的第二参数确定。
6.根据权利要求4所述的方法，其特征在于，所述第一关系模型是通过以下方式训练得到的：
构建训练样本集合；基于所述训练样本集合，对关系模型进行训练，得到所述第一关系模型；
所述基于所述训练样本集合，对关系模型进行训练，至少包括：
将所述训练样本集合中的第二状态向量输入至所述关系模型，确定所述第二状态向量对应的波束切换阈值；
基于所述第二状态向量对应的波束切换阈值和奖励函数，确定所述第二状态向量对应的奖励值；
基于所述第二状态向量、所述第二状态向量对应的奖励值和所述关系模型对应的损失函数，确定损失函数值；
基于所述损失函数值，对所述关系模型的模型参数进行更新，得到更新后的关系模型。
7.根据权利要求6所述的方法，其特征在于，所述基于所述训练样本集合，对关系模型进行训练，还包括：
在未达到终止条件时，重复执行以下步骤：
将所述训练样本集合中的第二状态向量输入至更新后的关系模型，确定所述第二状态向量对应的波束切换阈值；
基于所述第二状态向量对应的波束切换阈值和奖励函数，确定所述第二状态向量对应的奖励值；
基于第二状态向量、所述第二状态向量对应的奖励值和所述更新后的关系模型对应的损失函数，确定损失函数值；
基于所述损失函数值，对所述更新后的关系模型的模型参数进行更新，得到更新后的关系模型。
8.根据权利要求6所述的方法，其特征在于，在所述基于第二状态向量、所述第二状态向量对应的奖励值和所述关系模型对应的损失函数，确定损失函数值之后，还包括：
判断是否达到终止条件；
若确定达到所述终止条件，则得到所述第一关系模型；
所述终止条件为以下中的一项：
所述损失函数值小于或等于损失函数值阈值；或者，
所述损失函数值大于或等于损失函数值阈值。
9.根据权利要求1所述的方法，其特征在于，还包括：
将所述至少一个UE发送给所述第一网络节点的第一质量信息，发送给第二网络节点。
10.一种波束切换方法，由UE执行，其特征在于，包括：
向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使所述第一网络节点获取所述第一时间段内多个波束分别对应的第一质量信息，并基于所述多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定所述UE对应的波束切换阈值；
接收所述第一网络节点发送的所述UE对应的波束切换阈值，并基于所述波束切换阈值进行波束切换。
11.一种波束切换装置，应用于第一网络节点，其特征在于，包括存储器，收发机，处理器：
存储器，用于存储计算机程序；收发机，用于在所述处理器的控制下收发数据；处理器，用于读取所述存储器中的计算机程序并执行以下操作：
获取第一时间段内多个第一波束分别对应的第一质量信息，所述多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给所述第一网络节点的第一质量信息；
基于所述多个第一波束分别对应的第一质量信息，确定所述多个第一波束对应的第一平均信道质量；
基于所述多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；所述至少一个第二时间段在所述第一时间段之前；
基于所述第一状态向量，确定所述至少一个UE对应的波束切换阈值。
12.一种波束切换装置，应用于UE，其特征在于，包括存储器，收发机，处理器：
向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使所述第一网络节点获取所述第一时间段内多个波束分别对应的第一质量信息，并基于所述多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定所述UE对应的波束切换阈值；
接收所述第一网络节点发送的所述UE对应的波束切换阈值，并基于所述波束切换阈值进行波束切换。
13.一种波束切换装置，应用于第一网络节点，其特征在于，包括：
第一处理单元，用于获取第一时间段内多个第一波束分别对应的第一质量信息，所述多个第一波束分别对应的第一质量信息包括至少一个用户设备UE发送给所述第一网络节点的第一质量信息；
第二处理单元，用于基于所述多个第一波束分别对应的第一质量信息，确定所述多个第一波束对应的第一平均信道质量；
第三处理单元，用于基于所述多个第一波束对应的第一平均信道质量，以及至少一个第二时间段内多个第二波束对应的第二平均信道质量，确定第一状态向量；所述至少一个第二时间段在所述第一时间段之前；
第四处理单元，用于基于所述第一状态向量，确定所述至少一个UE对应的波束切换阈值。
14.一种波束切换装置，应用于UE，其特征在于，包括：
第五处理单元，用于向第一网络节点发送第一时间段内第一波束对应的第一质量信息；以使所述第一网络节点获取所述第一时间段内多个波束分别对应的第一质量信息，并基于所述多个波束分别对应的第一质量信息，以及至少一个第二时间段内多个波束对应的平均信道质量，确定所述UE对应的波束切换阈值；
第六处理单元，用于接收所述第一网络节点发送的所述UE对应的波束切换阈值，并基于所述波束切换阈值进行波束切换。
15.一种处理器可读存储介质，其特征在于，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行权利要求1至10中任一项所述的方法。
CN202210095304.5A 2022-01-26 2022-01-26 波束切换方法、装置及处理器可读存储介质 Pending CN116546579A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210095304.5A CN116546579A (zh) 2022-01-26 2022-01-26 波束切换方法、装置及处理器可读存储介质
PCT/CN2023/072416 WO2023143200A1 (zh) 2022-01-26 2023-01-16 波束切换方法、装置及处理器可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210095304.5A CN116546579A (zh) 2022-01-26 2022-01-26 波束切换方法、装置及处理器可读存储介质

Publications (1)

Publication Number Publication Date
CN116546579A true CN116546579A (zh) 2023-08-04

Family

ID=87454714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210095304.5A Pending CN116546579A (zh) 2022-01-26 2022-01-26 波束切换方法、装置及处理器可读存储介质

Country Status (2)

Country Link
CN (1) CN116546579A (zh)
WO (1) WO2023143200A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200366340A1 (en) * 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Beam management method, apparatus, electronic device and computer readable storage medium
US20200413316A1 (en) * 2018-03-08 2020-12-31 Telefonaktiebolaget Lm Ericsson (Publ) Managing communication in a wireless communications network
CN112929893A (zh) * 2019-12-06 2021-06-08 大唐移动通信设备有限公司 一种接收波束切换方法及装置
US20210337398A1 (en) * 2020-04-28 2021-10-28 Qualcomm Incorporated Autonomous Beam Switching
CN113709701A (zh) * 2021-08-27 2021-11-26 西安电子科技大学 一种毫米波车联网联合波束分配和中继选择方法
CN113904704A (zh) * 2021-09-27 2022-01-07 西安邮电大学 一种基于多智能体深度强化学习的波束预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10367677B2 (en) * 2016-05-13 2019-07-30 Telefonaktiebolaget Lm Ericsson (Publ) Network architecture, methods, and devices for a wireless communications network
CN107547115A (zh) * 2016-06-29 2018-01-05 中兴通讯股份有限公司 一种窄波束平滑切换的方法及装置
CN112311446A (zh) * 2020-10-20 2021-02-02 陕西航天技术应用研究院有限公司 一种基于多维度的卫星波束切换方法和系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200413316A1 (en) * 2018-03-08 2020-12-31 Telefonaktiebolaget Lm Ericsson (Publ) Managing communication in a wireless communications network
US20200366340A1 (en) * 2019-05-16 2020-11-19 Samsung Electronics Co., Ltd. Beam management method, apparatus, electronic device and computer readable storage medium
CN112929893A (zh) * 2019-12-06 2021-06-08 大唐移动通信设备有限公司 一种接收波束切换方法及装置
US20210337398A1 (en) * 2020-04-28 2021-10-28 Qualcomm Incorporated Autonomous Beam Switching
CN113709701A (zh) * 2021-08-27 2021-11-26 西安电子科技大学 一种毫米波车联网联合波束分配和中继选择方法
CN113904704A (zh) * 2021-09-27 2022-01-07 西安邮电大学 一种基于多智能体深度强化学习的波束预测方法

Also Published As

Publication number Publication date
WO2023143200A1 (zh) 2023-08-03

Similar Documents

Publication Publication Date Title
US10848983B2 (en) Communications device and method
EP4287574A1 (en) Model update method and apparatus in communication system, and storage medium
JP2025509429A (ja) セルシャットダウン中の高速オフロードのためのｃｈｏ構成
CN114071612B (zh) 辅小区组的主小区更新方法、装置及存储介质
US10701621B2 (en) Small cell discovery in a communication network
US11785525B2 (en) Path selection for integrated access and backhaul
CN115250529B (zh) 一种数据传输的方法、基站及存储介质
CN116347484B (zh) 基于效用函数的切换参数优化方法
US20250344079A1 (en) Managing a plurality of wireless devices that are operable to connect to a communication network
WO2015003505A1 (en) System and method for adaptation in a wireless communications system
WO2020173327A1 (zh) 覆盖范围调整方法和无线接入网节点
WO2011042414A1 (en) Femtocell base station
WO2021012166A1 (zh) 无线通信的方法和设备
Tashan et al. Voronoi-based handover self-optimization technique for handover ping-pong reduction in 5G networks
CN104955116B (zh) 密集网络自优化切换方法
CN113993102A (zh) 一种6g下异构无人机网络切换参数设定方法
Wang et al. Investigating the impact of variables on handover performance in 5g ultra-dense networks
CN118042480A (zh) 模型监测方法、装置、终端及网络侧设备
CN117528664A (zh) 候选小区的确定方法及装置
CN116546579A (zh) 波束切换方法、装置及处理器可读存储介质
CN115150851A (zh) 用于小区选择的方法、设备、存储介质和计算机程序产品
Carlos et al. Optimized performance evaluation of a Q-learning hard handover algorithm for load balancing
Venkatesh et al. Optimizing handover in LTE using SON system by handling mobility robustness
CN118523859A (zh) 模型评估方法、装置、终端及网络侧设备
WO2025140493A1 (en) Methods and apparatus of model based rrm measurement for wireless communication system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination