CN117236201B - 一种基于Diffusion和ViT的降尺度方法 - Google Patents

Abstract

本发明公开了一种基于Diffusion和ViT的降尺度方法，包括以下步骤：S1建立低分辨率数值模式降水预报与高分辨率降水观测样本，并进行预处理；S2构建Diffusion‑Vision‑Transformer降水预报模型；S3训练模型，直至Diffusion‑Vision‑Transformer的误差收敛，保存模型并进行预测；本发明通过利用Vision Transformer模型代替原始Diffusion模型中的U‑Net结构，大幅提高模型的训练效率，减低模型用于预测的时间。

Description

一种基于Diffusion和ViT的降尺度方法

技术领域

本发明涉及气象预报技术领域，具体涉及一种基于Diffusion和ViT的降尺度方法。

背景技术

传统统计降尺度方法多数是基于线性框架的模型，难以处理复杂且高维的气象场数据和表征大气非线性动力过程。深度学习的兴起为表征学习如气象要素场之类的、高维且强非线性的复杂数据提供了新的方向。通过利用高效的空间特征提取模块，提取高维空间数据的关键信息，建立低分辨率输入到高分辨率输出的统计模型，深度学习模型能够有效地应用于图片去噪、提高图片分辨率等场景，而此类方法一般被称为“超分辨率”模型。但如何将其高效地迁移到气象学的降尺度问题，同时进一步提高模型的计算效率与预报准确率，仍需要进一步的研究与探索。

发明内容

发明目的：本发明的目的是提供一种基于Diffusion和ViT的降尺度方法以解决数值模式降水预报空间分辨率不足、预报误差大的问题。

技术方案：本发明所述的一种基于Diffusion和ViT的降尺度方法，包括以下步骤：

S1：建立低分辨率数值模式降水预报与高分辨率降水观测样本，并进行预处理；

S2：构建Diffusion-Vision-Transformer降水预报模型；包括以下步骤：

S21：在Diffusion模型中对高分辨率降水观测样本进行前向加噪；

S22：利用Vision-Transformer模型提取低分辨率数值模式降水预报的高阶空间特征；

S23：在Diffusion模型中对步骤S21得到的结果进行去噪，并引入步骤S22得到的高阶空间特征作为条件信息，得到降尺度后的高分辨率降水预报；

S3：训练模型，直至Diffusion-Vision-Transformer的误差收敛，保存模型并进行预测。

进一步的，所述步骤S1中，预处理包括：对数据集进行对数化、归一化的操作。

进一步的，所述步骤S21具体过程如下：

设某一时刻预处理后的高分辨率降水观测样本，分T次逐步对原始观测添加高斯噪声/>,得到/>;则第t时刻的数据分布/>前一时刻/>公式如下：

；

其中，是预设的常数超参数，范围在0和1之间；

最后第t时刻的数据分布可以由第0时刻的数据/>分布得到，公式如下：

；

其中，，且对于/>，则/>。

进一步的，所述S22具体如下：输入配对的高分辨率降水观测样本和低分辨率数值模式降水预报/>，并确定前向加噪的步数T,以及所加随机高斯噪声的方差超参数。

进一步的，所述步骤S23包括以下步骤：

S231：将低分辨率数值模式降水预报分割为若干个图块，然后对分割的图块进行进行线性映射；

S232：利用位置编码表示不同图块的位置信息，将处理后的编码信息作为N组自注意力模块的输入；

S233：利用空间自注意力模块代替卷积操作。

进一步的，所述步骤S231公式如下：

;

其中，为一组分割后的图块，/>为待训练的权重系数，/>为待训练的截断系数，/>为经过线性映射后的一组向量。

进一步的，所述步骤S232位置编码为二维位置嵌入方法。

进一步的，所述步骤S233具体如下：

设一组分割后的图块为，利用三组权重，即查询权重/>、键值权重/>、和数值权重/>，将原始数据分为三个特征：查询矩阵/>、键值矩阵、数值矩阵/>；则/>对应的自注意力/>公式如下：

；

其中，为/>维度的平方根。

进一步的，所述步骤S3具体如下：

设经过步骤S21-S22得到的结果为：，其中，/>为为步骤S21-S22得到的模型，/>为低分辨率数值模式降水预报，/>为配对的高分辨率降水观测样本，为步骤S21中预设的超参数，T为步骤S21中前向加噪的步数；则步骤S3中Diffusion-Vision-Transforme模型的预报误差/>公式如下：

；

其中，为随机高斯分布，则/>；

当Diffusion-Vision-Transforme模型的预报误差收敛时，逆向推断T步直到得到模型预测/>；其中，前一步的/>由后一步的/>得到，公式如下：

；

其中，为为步骤S21-S22得到的模型，/>为低分辨率数值模式降水预报，/>为步骤S21中预设的超参数，/>为随机高斯分布，则/>。

本发明所述的一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现任一项所述的一种基于Diffusion和ViT的降尺度方法中的步骤。

有益效果：与现有技术相比，本发明具有如下显著优点：（1）通过利用Diffusion模型提高降尺度预报的精细化程度，尤其在针对降尺度倍数超过4的任务中更具优势；（2）通过利用Vision Transformer模型代替原始Diffusion模型中的U-Net结构，大幅提高模型的训练效率，减低模型用于预测的时间。

附图说明

图1为本发明总流程图；

图2为Diffusion-ViT模型训练流程示意图；

图3为Diffusion模型示意图；

图4为Vision-Transformer模型示意图。

实施方式

下面结合附图对本发明的技术方案作进一步说明。

如图1所示，本发明实施例提供了一种基于Diffusion和ViT的降尺度方法，包括以下步骤：

S1：建立低分辨率数值模式降水预报与高分辨率降水观测样本，并进行预处理；预处理包括：对数据集进行对数化、归一化的操作。

如图2所示，S2：构建Diffusion-Vision-Transformer降水预报模型；包括以下步骤：

S21：在Diffusion模型中对高分辨率降水观测样本进行前向加噪；具体如下：如图3所示，设某一时刻预处理后的高分辨率降水观测样本，分T次逐步对原始观测添加高斯噪声/>,得到/>;则第t时刻的数据分布/>前一时刻/>公式如下：;则第t时刻的数据分布/>前一时刻/>公式如下：

；

其中，是预设的常数超参数，范围在0和1之间；

最后第t时刻的数据分布可以由第0时刻的数据/>分布得到，公式如下：

；

其中，，且对于/>，则/>。

S22：利用Vision-Transformer模型提取低分辨率数值模式降水预报的高阶空间特征；具体如下：输入配对的高分辨率降水观测样本和低分辨率数值模式降水预报/>，并确定前向加噪的步数T,以及所加随机高斯噪声的方差超参数/>。

在Diffusion模型中对步骤S21得到的结果进行去噪，并引入步骤S22得到的高阶空间特征作为条件信息，得到降尺度后的高分辨率降水预报；

包括以下步骤：

S231：如图4所示，将低分辨率数值模式降水预报分割为若干个图块，然后对分割的图块进行进行线性映射；公式如下：

;

其中，为一组分割后的图块，/>为待训练的权重系数，/>为待训练的截断系数，/>为经过线性映射后的一组向量。

S232：利用位置编码表示不同图块的位置信息，将处理后的编码信息作为N组自注意力模块的输入；其中，位置编码为二维位置嵌入方法，具体为：通过对每个图块相对于X轴和Y轴的位置进行编码，用不同的位置编码表示不同图块。

S233：利用空间自注意力模块代替卷积操作。具体如下：

设一组分割后的图块为，利用三组权重，即查询权重/>、键值权重/>、和数值权重/>，将原始数据分为三个特征：查询矩阵/>、键值矩阵、数值矩阵/>；则/>对应的自注意力/>公式如下：

；

其中，为/>维度的平方根。空间自注意力模块由正则层、多头自注意力、残差结构、前馈神经网络组成。

S3：训练模型，直至Diffusion-Vision-Transformer的误差收敛，保存模型并进行预测。具体如下：

设经过步骤S21-S22得到的结果为：，其中，/>为为步骤S21-S22得到的模型，/>为低分辨率数值模式降水预报，/>为配对的高分辨率降水观测样本，为步骤S21中预设的超参数，T为步骤S21中前向加噪的步数；则步骤S3中Diffusion-Vision-Transforme模型的预报误差/>公式如下：

；

其中，为随机高斯分布，则/>；

当Diffusion-Vision-Transforme模型的预报误差收敛时，逆向推断T步直到得到模型预测/>；其中，前一步的/>由后一步的/>得到，公式如下：

；

其中，为为步骤S21-S22得到的模型，/>为低分辨率数值模式降水预报，/>为步骤S21中预设的超参数，/>为随机高斯分布，则/>。

本发明实施例还提供一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现任一项所述的一种基于Diffusion和ViT的降尺度方法中的步骤。

Claims (10)

1.一种基于Diffusion和ViT的降尺度方法，其特征在于，包括以下步骤：

S1：建立低分辨率数值模式降水预报与高分辨率降水观测样本，并进行预处理；

S2：构建Diffusion-Vision-Transformer降水预报模型；包括以下步骤：

S21：在Diffusion模型中对高分辨率降水观测样本进行前向加噪；

S22：利用Vision-Transformer模型提取低分辨率数值模式降水预报的高阶空间特征；

S23：在Diffusion模型中对步骤S21得到的结果进行去噪，并引入步骤S22得到的高阶空间特征作为条件信息，得到降尺度后的高分辨率降水预报；

S3：训练模型，直至Diffusion-Vision-Transformer的误差收敛，保存模型并进行预测。

2.根据权利要求1所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述步骤S1中，预处理包括：对数据集进行对数化、归一化的操作。

3.根据权利要求1所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述步骤S21具体过程如下：

设某一时刻预处理后的高分辨率降水观测样本，分T次逐步对原始观测添加高斯噪声,得到/>;则第t时刻的数据分布/>前一时刻/>公式如下：

；

其中，是预设的常数超参数，范围在0和1之间；

最后第t时刻的数据分布可以由第0时刻的数据/>分布得到，公式如下：

；

其中，，且对于/>，则/>。

4.根据权利要求1所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述S22具体如下：输入配对的高分辨率降水观测样本和低分辨率数值模式降水预报/>，并确定前向加噪的步数T,以及所加随机高斯噪声的方差超参数/>。

5.根据权利要求1所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述步骤S23包括以下步骤：

S231：将低分辨率数值模式降水预报分割为若干个图块，然后对分割的图块进行进行线性映射；

S232：利用位置编码表示不同图块的位置信息，将处理后的编码信息作为N组自注意力模块的输入；

S233：利用空间自注意力模块代替卷积操作。

6.根据权利要求4所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述步骤S231公式如下：

;

其中，为一组分割后的图块，/>为待训练的权重系数，/>为待训练的截断系数，为经过线性映射后的一组向量。

7.根据权利要求4所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述步骤S232位置编码为二维位置嵌入方法。

8.根据权利要求4所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述步骤S233具体如下：

设一组分割后的图块为，利用三组权重，即查询权重/>、键值权重/>、和数值权重/>，将原始数据分为三个特征：查询矩阵/>、键值矩阵/>、数值矩阵/>；则/>对应的自注意力/>公式如下：

；

其中，为/>维度的平方根。

9.根据权利要求1所述的一种基于Diffusion和ViT的降尺度方法，其特征在于，所述步骤S3具体如下：

设经过步骤S21-S22得到的结果为：，其中，/>为步骤S21-S22得到的模型，/>为低分辨率数值模式降水预报，/>为配对的高分辨率降水观测样本，/>为步骤S21中预设的超参数，T为步骤S21中前向加噪的步数；则步骤S3中Diffusion-Vision-Transformer模型的预报误差/>公式如下：

；

其中，为随机高斯分布，则/>；

当Diffusion-Vision-Transformer模型的预报误差收敛时，逆向推断T步直到得到模型预测/>；其中，前一步的/>由后一步的/>得到，公式如下：

；

其中，为步骤S21-S22得到的模型，/>为低分辨率数值模式降水预报，/>为步骤S21中预设的超参数，/>为随机高斯分布，则/>。

10.一种设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-9任一项所述的一种基于Diffusion和ViT的降尺度方法中的步骤。