CN118606617A - 基于Tucker分解因子矩阵低秩的张量完备方法与系统 - Google Patents
基于Tucker分解因子矩阵低秩的张量完备方法与系统 Download PDFInfo
- Publication number
- CN118606617A CN118606617A CN202411087929.2A CN202411087929A CN118606617A CN 118606617 A CN118606617 A CN 118606617A CN 202411087929 A CN202411087929 A CN 202411087929A CN 118606617 A CN118606617 A CN 118606617A
- Authority
- CN
- China
- Prior art keywords
- tensor
- factor matrix
- auxiliary variable
- missing
- rank
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提出一种基于Tucker分解因子矩阵低秩的张量完备方法与系统,该方法基于Tucker分解,对Tucker分解中因子矩阵水平垂直方向的梯度用核范数作低秩约束,核张量作Frobenius范数约束,建构张量完备模型,在张量完备模型中引入辅助变量,并建立增广拉格朗日函数对张量完备模型进行约束优化,得到有约束优化模型,将缺失数据以及缺失区域掩码张量进行张量化存储,得到含有缺失值的张量和缺失区域掩码张量,将缺失值的张量和缺失区域掩码张量输入约束优化模型中,通过ADMM算法框架对各个子问题进行迭代求解,得到完备后的张量。本发明不仅克服了传统Tucker分解中Tucker秩选择的难题,而且通过在张量因子空间中刻画数据的低秩和光滑性,实现了对张量数据更为精确和高效的恢复。
Description
技术领域
本发明涉及数据处理领域,特别涉及一种基于Tucker分解因子矩阵低秩的张量完备方法与系统。
背景技术
随着多维数据在信号处理、物理科学、机器学习等多个领域应用的日益广泛,张量(多维数组)作为数据的自然表示形式,其重要性日益凸显。张量数据在采集或传输过程中经常遭遇缺失值问题,这不仅增加了数据处理的成本,也对多维数据分析构成了挑战。基于一定假设填补缺失数据,通过利用预设的模式来重建缺失的元素,也就是所谓的低秩矩阵完备,已经引起了显著的关注。然而,随着高阶数据的出现,矩阵完备由于矩阵化或向量化操作,无法很好地利用高阶结构的优势。作为矩阵完备的自然延伸,张量完备被提出并广泛应用于解决高阶数据缺失问题。张量完备旨在估计和补全数据中缺失或损坏的元素,从而提升数据质量。
实际应用中,多维数据如彩色图像,视频,高光谱图像等,由于像素间的高度相关性和重复性,往往具有显著的低秩特性。进一步地,这些多维数据还普遍呈现出显著的平滑性特点。平滑性体现在相邻像素或数据块间具有相似或渐变的数值特征,这种连续性不仅反映在空间维度上,对于时间序列数据(如视频)而言,还体现在相邻帧之间的连续平滑过渡。众多研究表明,彩色图像,视频,高光谱图像等张量数据天然具备低秩和光滑双重先验属性。
目前,张量恢复方法主要围绕低秩先验、光滑先验及综合先验(低秩+光滑)策略展开。尽管已有方法在张量恢复方面取得一定成效,但大多数集中在原空间中分析和利用低秩和光滑先验,忽视了张量分解因子本身同样蕴含的平滑性和低秩特性。针对这一空白,探索并利用分解因子空间中的低秩和光滑先验成为提升张量完备性能的关键。
发明内容
鉴于上述状况,本发明的主要目的是为了提出一种基于Tucker分解因子矩阵低秩的张量完备方法与系统,以解决上述技术问题。
本发明提出了一种基于Tucker分解因子矩阵低秩的张量完备方法,所述方法包括如下步骤:
步骤1、基于Tucker分解,对Tucker分解中因子矩阵水平垂直方向的梯度用核范数作低秩约束,核张量作Frobenius范数约束,建构张量完备模型;
步骤2、在张量完备模型中引入辅助变量,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化,得到有约束优化模型;
步骤3、获取缺失数据图像,并归一化,根据缺失数据图像中缺失的数据创建对应的掩码,将缺失数据图像以及掩码进行张量化存储,得到含有缺失值的张量和缺失区域掩码张量;
步骤4、将缺失值的张量和缺失区域掩码张量输入约束优化模型中,将核张量、因子矩阵、辅助变量和输出目标张量分别作为子问题,通过ADMM算法框架对各个子问题进行迭代求解,得到完备后的张量。
本发明还提出一种基于Tucker分解因子矩阵低秩的张量完备系统,其中,所述系统应用如上所述的基于Tucker分解因子矩阵低秩的张量完备方法,所述系统包括:
模型构建模块,用于:
基于Tucker分解,对Tucker分解中因子矩阵水平垂直方向的梯度用核范数作低秩约束,核张量作Frobenius范数约束,建构张量完备模型;
约束优化模块,用于:
在张量完备模型中引入辅助变量,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化,得到有约束优化模型;
数据获取模块,用于:
获取缺失数据图像,并归一化,根据缺失数据图像中缺失的数据创建对应的掩码,将缺失数据图像以及掩码进行张量化存储,得到含有缺失值的张量和缺失区域掩码张量;
迭代求解模块,用于:
将缺失值的张量和缺失区域掩码张量输入约束优化模型中,将核张量、因子矩阵、辅助变量和输出目标张量分别作为子问题,通过ADMM算法框架对各个子问题进行迭代求解,得到完备后的张量。
相较于现有技术,本发明的有益效果如下:
本发明通过创新地在张量因子空间中引入低秩和光滑性的先验知识,不仅解决了传统Tucker分解中一个长期存在的挑战——Tucker秩的选择问题,而且还显著提升了张量数据恢复的精度与效率。传统技术往往需要用户预先设定Tucker秩,这通常是一项复杂的任务,且不当的选择会严重影响恢复效果。相比之下,本发明利用因子空间的固有属性避开了最优秩选择问题,避免了手动调整带来的不确定性。
此外,相较于传统技术,本发明展现出计算成本低的显著优势。在处理张量数据时,传统方法往往受限于计算成本和时间效率。它们可能需要复杂的算法来逼近低秩和光滑性,这不仅消耗大量资源,还可能导致恢复过程缓慢且效果不佳。而本发明通过巧妙地利用张量因子空间的低秩性和光滑性,在不增加额外计算负担的前提下,就能实现对张量数据更为精确的重建。这一创新不仅保持了数据恢复的质量,同时大幅降低了处理时间和所需的计算资源。
本发明的附加方面与优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实施例了解到。
附图说明
图1为本发明提出的基于Tucker分解因子矩阵低秩的张量完备方法的流程图;
图2为本发明迭代求解的流程图;
图3为本发明提出的基于Tucker分解因子矩阵低秩的张量完备系统的结构示意图;
图4为本发明对彩色图像进行处理的前后对比图;
图5为本发明对高光谱图像进行处理的前后对比图;
图6为本发明对视频进行处理的前后对比图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能理解为对本发明的限制。
参照下面的描述和附图,将清楚本发明的实施例的这些和其他方面。在这些描述和附图中,具体公开了本发明的实施例中的一些特定实施方式,来表示实施本发明的实施例的原理的一些方式,但是应当理解,本发明的实施例的范围不受此限制。
请参阅图1,本实施例提供了一种基于Tucker分解因子矩阵低秩的张量完备方法,所述方法包括如下步骤:
步骤1、基于Tucker分解,对Tucker分解中因子矩阵水平垂直方向的梯度用核范数作低秩约束,核张量作Frobenius范数约束,建构张量完备模型;
在步骤1中,张量完备模型存在如下关系式:
;
其中,表示含有缺失值的张量,,表示实数域,分别表示维度信息,表示缺失区域掩码张量,,表示输出目标张量,,、表示不同的正则参数,表示空间维度数,表示因子矩阵数量,表示核张量,表示沿第k个维度做梯度乘法操作,表示核范数,表示Frobenius范数的平方,表示投影的线性操作,表示因子矩阵,分别表示核张量沿第一个维度展开和第一个因子矩阵做乘法操作,核张量沿第二个维度展开和第二个因子矩阵做乘法操作,核张量沿第三个维度展开和第三个因子矩阵做乘法操作。
矩阵求梯度等价于与一个差分算子相乘。水平和垂直方向对应着左乘和右乘两种操作。为了保持差分前后矩阵维度不变,使用周期边界条件下的n阶方阵差分矩阵的秩等于n-1,所以求梯度以后的秩与因子矩阵的秩最多减小1。由此,因子矩阵的低秩性可以传递到因子矩阵的梯度矩阵中。依据矩阵范数之间的兼容原则,不等式成立。特别地,该不等式中的和分别对应于图像处理领域中广泛应用的各向同性总变差正则化技术和各向异性总变差正则化技术,这两种技术擅长全局平滑处理和边缘保持。因此,容易看出,矩阵求梯度作核范数即可以表征矩阵的光滑性。
根据Tucker秩的定义,原始数据M中的低秩性可以通过因子矩阵的秩来刻画。此外,因子矩阵中包含了各个维度的特征向量,原始数据M中的光滑性也可以通过因子矩阵中具有光滑性的特征向量的线性组合体现。
因子矩阵的梯度低秩可以同时表征因子矩阵的低秩性和光滑性。由此,通过一项建模两种先验信息。
步骤2、在张量完备模型中引入辅助变量,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化,得到有约束优化模型;
在步骤2中,在张量完备模型中引入辅助变量的过程存在如下关系式:
;
其中,表示第一辅助变量,表示第二辅助变量,表示指示函数。指示函数定义为:
。
在步骤2中,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化的过程存在如下关系式:
;
其中,表示惩罚参数,表示不同的拉格朗日乘子,分别表示第一辅助变量的两个子问题,分别表示沿第一个维度做梯度乘法操作,沿第二个维度做梯度乘法操作。
步骤3、获取缺失数据图像,并归一化,根据缺失数据图像中缺失的数据创建对应的掩码,将缺失数据图像以及掩码进行张量化存储,得到含有缺失值的张量和缺失区域掩码张量;
张量作为矩阵概念的推广,具有更强的建模能力。此处所说的缺失数据可以是一切具有空间连续性和信息冗余性而导致的光滑低秩等特点的数据,例如:彩色图像,视频,高光谱图像等。
步骤4、将缺失值的张量和缺失区域掩码张量输入约束优化模型中,将核张量、因子矩阵、辅助变量和输出目标张量分别作为子问题,通过ADMM算法框架对各个子问题进行迭代求解,得到完备后的张量。
在所述步骤4中,辅助变量包括第一辅助变量和第二辅助变量,通过ADMM算法框架对第一辅助变量的子问题进行迭代求解的过程具体包括如下步骤:
第一辅助变量包括两个子问题,通过固定核张量、因子矩阵、第二辅助变量和输出目标张量构建第一辅助变量的两个子问题的目标函数,第一辅助变量的两个子问题的目标函数分别存在如下关系式:
;
;
基于奇异值阈值算法,构建第一辅助变量的两个子问题的解的求解关系式,第一辅助变量的两个子问题的解分别存在如下关系式:
;
;
其中,表示输入参数为的奇异值阈值算法;
通过更新惩罚参数、正则参数和对应的拉格朗日乘子对第一辅助变量的两个子问题进行迭代求解。
设表示奇异值分解,其中,U是一个单位正交矩阵,其列是矩阵A的左奇异向量。S是一个对角线矩阵,对角线上的元素是矩阵A的奇异值。V是另一个单位正交矩阵,其行是矩阵A的右奇异向量,表示转置操作,是奇异值阈值算法,表示了对矩阵A的压缩,表示输入参数为的奇异值阈值算法,表示输入参数为的软阈值算子,软阈值算子表达式为,它会根据参数对输入变量进行阈值化处理,是的符号函数。
上述方案中,首先会先对输入矩阵进行奇异值分解,然后对得到的奇异值进行阈值处理,保留大于的奇异值,而将小于的奇异值设置为零,进而可以降低数据复杂性,同时保持尽可能多的信息。
在所述步骤4中,通过ADMM算法框架对输出目标张量的子问题进行迭代求解的过程具体包括如下步骤:
通过固定核张量、因子矩阵、第一辅助变量和第二辅助变量构建输出目标张量的子问题的目标函数,输出目标张量的子问题的目标函数存在如下关系式:
;
输出目标张量的子问题的解存在如下关系式:
;
其中,表示投影算子,表示缺失区域掩码张量的补集的投影算子,表示缺失区域掩码张量的补集;
通过更新正则参数和对应的拉格朗日乘子对输出目标张量进行迭代求解。
在步骤4中,通过ADMM算法框架对因子矩阵的子问题进行迭代求解的过程具体包括如下步骤:
通过固定核张量、第一辅助变量、第二辅助变量和输出目标张量构建因子矩阵的子问题的目标函数,因子矩阵的子问题的目标函数存在如下关系式:
;
已知引理 ;
其中,表示Kronecker积,,表示不包含第n个因子矩阵的其他所有因子矩阵的Kronecker积,表示将张量Y沿第n个维度展开为矩阵,分别表示N模积操作,第N个因子矩阵,分别表示1到N之间任意一个数,因子矩阵的最大数量;
因子矩阵的子问题的解存在如下关系式:
;
其中,表示的替代符,和表示分别核张量、按照第个维度展开为矩阵;
通过更新惩罚参数和对应的拉格朗日乘子对因子矩阵进行迭代求解。
在步骤4中,通过ADMM算法框架对第二辅助变量的子问题进行迭代求解的过程具体包括如下步骤:
通过固定核张量、因子矩阵、第一辅助变量和输出目标张量构建第二辅助变量的子问题的目标函数,第二辅助变量的子问题的目标函数存在如下关系式:
;
经过简单的计算可以得到
在这里,表示的转置运算符,并且将公式右侧表示为。闭式解可以通过以下表达式推导得出:
;
其中,表示逐元素平方操作,表示逐元素除法,和分别表示傅里叶变换及其逆变换;
通过更新惩罚参数和对应的拉格朗日乘子对第二辅助变量进行迭代求解。
在所述步骤4中,通过ADMM算法框架对核张量的子问题进行迭代求解的过程具体包括如下步骤:
通过固定因子矩阵、第一辅助变量、第二辅助变量和输出目标张量构建核张量的子问题的目标函数,核张量的子问题的目标函数存在如下关系式:
;
根据Kronecker积的性质,通过矩阵矢量化将张量积乘法转换为向量化形式,从而将对核张量的子问题进行迭代求解的目标函数写为最小二乘问题;
核张量的子问题的目标函数对应的关系式如下:
;
可以得到:
;
其中,表示核张量的子问题的向量形式,表示单位矩阵;
核张量的子问题的解是,是的逆操作;
通过更新正则参数、惩罚参数和对应的拉格朗日乘子对核张量进行迭代求解。
请参阅图2,迭代终止条件为相邻两次迭代中的相对误差小于某一个给定的正数,对应的关系式如下:
;
其中,表示相对误差,表示上一次迭代中得到的X,表示Frobenius范数。
否则更新拉格朗日乘子、、、和惩罚参数,具体更新如下:
;
;
;
;
;
其中,表示学习率。
请参照图3,本实施例还提供一种基于Tucker分解因子矩阵低秩的张量完备系统,其中,所述系统应用如上所述的基于Tucker分解因子矩阵低秩的张量完备方法,所述系统包括:
模型构建模块,用于:
基于Tucker分解,对Tucker分解中因子矩阵水平垂直方向的梯度用核范数作低秩约束,核张量作Frobenius范数约束,建构张量完备模型;
约束优化模块,用于:
在张量完备模型中引入辅助变量,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化,得到有约束优化模型;
数据获取模块,用于:
获取缺失数据图像,并归一化,根据缺失数据图像中缺失的数据创建对应的掩码,将缺失数据图像以及掩码进行张量化存储,得到含有缺失值的张量和缺失区域掩码张量;
迭代求解模块,用于:
将缺失值的张量和缺失区域掩码张量输入约束优化模型中,将核张量、因子矩阵、辅助变量和输出目标张量分别作为子问题,通过ADMM算法框架对各个子问题进行迭代求解,得到完备后的张量。
为了验证本发明的性能和效果,以下以一些真实获取的数据进行实验验证。
鉴于彩色图像、高光谱图像及视频均为典型的张量数据类型,且共同展现出低秩和平滑的特征,本发明得以广泛适用于这些领域。在本实例中,为了验证这一适用性,设计了三组实验,所有实验所使用的数据均源自公开的数据集,确保了测试结果的可靠性和可重复性。
在第一组实验中,选取了两张彩色图像“房子”和“女性”,图像的尺寸是,所有实验数据的像素值归一化为[0,1],构造的张量是。在原始数据随机采取30%的像素点,构建包含缺失元素的观测张量。本实验设置,,,,。
本发明在彩色图像上的处理结果如图4所示。具体而言,图4中(a)呈现了原始的彩色图像——“房子”与“女性”,这些图像富含色彩信息;图4中(b)则展示了一组构建的图像案例,其中70%的元素被遗失,只保留了30%的元素,所以图像的大部分信息显著缺失;图4中(c)展示了应用本发明技术后恢复的彩色图像,从中明显可见修复效果。本发明之所以能取得如此成效,是因为它巧妙融合了对数据重构误差的考量、刻画因子矩阵低秩和平滑特性,这一策略不仅有效降低了总体误差,还保障了重建图像的结构连贯性与纹理细节的真实性。
为了进一步验证本发明的有效性,本实例还在高光谱图像上进行了实验。在第二组实验中,选取了两个常见的高光谱数据集“PaC(帕维亚中心高光谱数据集)”和“Botswana(博茨瓦纳高光谱数据集)”。高光谱图像的尺寸是,所有实验数据的像素值归一化为[0,1],构造的张量是。在原始数据随机采取30%的像素点,构建包含缺失元素的观测张量。本实验设置,,,,。
本发明在高光谱图像上的处理结果如图5所示。具体而言,图5中(a)描绘了富含光谱信息的原始高光谱数据集“PaC”和“Botswana”的第25波段;图5中(b)展示了70%元素缺失的高光谱图像,模拟实际应用中可能遭遇的极端数据损失情况;而图5中(c)则证明了本发明技术的修复能力,本发明不仅恢复了大部分丢失的信息,还确保了恢复图像的结构真实性和纹理细腻度。即便是在原始数据遭受重创的情况下,恢复后的图像仍然能够准确勾勒出物体的边缘,避免了常见的模糊或断裂现象。
为了验证本发明的通用性,本实例还在视频上进行了实验。在第三组实验中,选取了两个常见的视频数据集“克莱尔”和“阿纪洋”。视频数据的尺寸是,所有实验数据的像素值归一化为[0,1],构造的张量是。在原始数据M随机采取30%的像素点,构建包含缺失元素的观测张量。本实验设置,,,,。
本实验专注于视频数据分析,其成果通过图6直观展示。图6中(a)特别呈现了两个饱含丰富时间维度信息的典型视频序列“克莱尔”与“阿纪洋”的第25帧画面;图6中(b)展现了在视频图像中高达70%数据遗失的极端情形,该设置模拟现实世界数据缺失的复杂性;图6中(c)彰显了本发明在视频数据修复上的强大效能,本发明不仅成功修复了大部分丢失的元素,还保证了复原图像在结构上的精确度与纹理细节的丰富性,两者均为图像质量的关键指标。
表1给出了彩色图像“房子”与“女性”、高光谱图像“PaC”和“Botswana”、视频序列“克莱尔”与“阿纪洋”在缺失率为70%下的修复结果。本实例采用三种图像质量指标,包括PSNR(峰值信噪比)、SSIM(结构相似性指数)、FSIM(特征相似性指数测量)。PSNR值越大,SSIM、FSIM值越接近1,表示恢复图像与原始图像越接近,恢复效果越好。实验结果表明本发明能有效修复包含缺失值的观测图像,在不同数据集上的实验也证明了本发明的鲁棒性。
表1:彩色图像、高光谱图像、视频序列在缺失率为70%下的重构结果;
应当理解的,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、 “示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,所述方法包括如下步骤:
步骤1、基于Tucker分解,对Tucker分解中因子矩阵水平垂直方向的梯度用核范数作低秩约束,核张量作Frobenius范数约束,建构张量完备模型;
步骤2、在张量完备模型中引入辅助变量,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化,得到有约束优化模型;
步骤3、获取缺失数据图像,并归一化,根据缺失数据图像中缺失的数据创建对应的掩码,将缺失数据图像以及掩码进行张量化存储,得到含有缺失值的张量和缺失区域掩码张量;
步骤4、将缺失值的张量和缺失区域掩码张量输入约束优化模型中,将核张量、因子矩阵、辅助变量和输出目标张量分别作为子问题,通过ADMM算法框架对各个子问题进行迭代求解,得到完备后的张量。
2.根据权利要求1所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤1中,张量完备模型存在如下关系式:
;
其中,表示含有缺失值的张量,,表示实数域,分别表示维度信息,表示缺失区域掩码张量,,表示输出目标张量,,、表示不同的正则参数,表示空间维度数,表示因子矩阵数量,表示核张量,表示沿第k个维度做梯度乘法操作,表示核范数,表示Frobenius范数的平方,表示投影的线性操作,表示因子矩阵,分别表示核张量沿第一个维度展开和第一个因子矩阵做乘法操作,核张量沿第二个维度展开和第二个因子矩阵做乘法操作,核张量沿第三个维度展开和第三个因子矩阵做乘法操作。
3.根据权利要求2所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤2中,在张量完备模型中引入辅助变量的过程存在如下关系式:
;
其中,表示第一辅助变量,表示第二辅助变量,表示指示函数,指示函数定义为:
。
4.根据权利要求3所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤2中,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化的过程存在如下关系式:
;
其中,表示惩罚参数,表示不同的拉格朗日乘子,分别表示第一辅助变量的两个子问题,分别表示沿第一个维度做梯度乘法操作,沿第二个维度做梯度乘法操作。
5.根据权利要求4所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤4中,辅助变量包括第一辅助变量和第二辅助变量,通过ADMM算法框架对第一辅助变量的子问题进行迭代求解的过程具体包括如下步骤:
第一辅助变量包括两个子问题,通过固定核张量、因子矩阵、第二辅助变量和输出目标张量构建第一辅助变量的两个子问题的目标函数,第一辅助变量的两个子问题的目标函数分别存在如下关系式:
;
;
基于奇异值阈值算法,构建第一辅助变量的两个子问题的解的求解关系式,第一辅助变量的两个子问题的解分别存在如下关系式:
;
;
其中,表示输入参数为的奇异值阈值算法;
通过更新惩罚参数、正则参数和对应的拉格朗日乘子对第一辅助变量的两个子问题进行迭代求解。
6.根据权利要求5所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤4中,通过ADMM算法框架对输出目标张量的子问题进行迭代求解的过程具体包括如下步骤:
通过固定核张量、因子矩阵、第一辅助变量和第二辅助变量构建输出目标张量的子问题的目标函数,输出目标张量的子问题的目标函数存在如下关系式:
;
输出目标张量的子问题的解存在如下关系式:
;
其中,表示投影算子,表示缺失区域掩码张量的补集的投影算子,表示缺失区域掩码张量的补集;
通过更新惩罚参数和对应的拉格朗日乘子对输出目标张量进行迭代求解。
7.根据权利要求6所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤4中,通过ADMM算法框架对因子矩阵的子问题进行迭代求解的过程具体包括如下步骤:
通过固定核张量、第一辅助变量、第二辅助变量和输出目标张量构建因子矩阵的子问题的目标函数,因子矩阵的子问题的目标函数存在如下关系式:
;
已知引理;
其中,表示Kronecker积,,表示不包含第n个因子矩阵的其他所有因子矩阵的Kronecker积,表示将张量Y沿第n个维度展开为矩阵,分别表示N模积操作,第N个因子矩阵,分别表示1到N之间任意一个数,因子矩阵的最大数量;
因子矩阵的子问题的解存在如下关系式:
;
其中,表示的替代符,和表示分别核张量、按照第个维度展开为矩阵;
通过更新惩罚参数和对应的拉格朗日乘子对因子矩阵进行迭代求解。
8.根据权利要求7所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤4中,通过ADMM算法框架对第二辅助变量的子问题进行迭代求解的过程具体包括如下步骤:
通过固定核张量、因子矩阵、第一辅助变量和输出目标张量构建第二辅助变量的子问题的目标函数,第二辅助变量的子问题的目标函数存在如下关系式:
;
通过计算得出:
;
其中,表示的转置运算符;
将表示为,第二辅助变量的闭式解存在如下关系式:
;
其中,表示逐元素平方操作,表示逐元素除法,和分别表示傅里叶变换及其逆变换;
通过更新惩罚参数和对应的拉格朗日乘子对第二辅助变量进行迭代求解。
9.根据权利要求8所述的基于Tucker分解因子矩阵低秩的张量完备方法,其特征在于,在所述步骤4中,通过ADMM算法框架对核张量的子问题进行迭代求解的过程具体包括如下步骤:
通过固定因子矩阵、第一辅助变量、第二辅助变量和输出目标张量构建核张量的子问题的目标函数,核张量的子问题的目标函数存在如下关系式:
;
根据Kronecker积的性质,通过矩阵矢量化将张量积乘法转换为向量化形式,从而将对核张量的子问题进行迭代求解的目标函数写为最小二乘问题,对应的关系式如下:
;
可以得到:
;
其中,表示核张量的子问题的向量形式,表示单位矩阵;
核张量的子问题的解是,表示将一个矩阵或张量的列堆叠成一个单一的列向量的操作,是的逆操作;
通过更新正则参数、惩罚参数和对应的拉格朗日乘子对核张量进行迭代求解。
10.一种基于Tucker分解因子矩阵低秩的张量完备系统,其特征在于,所述系统应用如权利要求1至9任意一项所述的基于Tucker分解因子矩阵低秩的张量完备方法,所述系统包括:
模型构建模块,用于:
基于Tucker分解,对Tucker分解中因子矩阵水平垂直方向的梯度用核范数作低秩约束,核张量作Frobenius范数约束,建构张量完备模型;
约束优化模块,用于:
在张量完备模型中引入辅助变量,基于拉格朗日乘子建立增广拉格朗日函数对张量完备模型进行约束优化,得到有约束优化模型;
数据获取模块,用于:
获取缺失数据图像,并归一化,根据缺失数据图像中缺失的数据创建对应的掩码,将缺失数据图像以及掩码进行张量化存储,得到含有缺失值的张量和缺失区域掩码张量;
迭代求解模块,用于:
将缺失值的张量和缺失区域掩码张量输入约束优化模型中,将核张量、因子矩阵、辅助变量和输出目标张量分别作为子问题,通过ADMM算法框架对各个子问题进行迭代求解,得到完备后的张量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411087929.2A CN118606617B (zh) | 2024-08-09 | 2024-08-09 | 基于Tucker分解因子矩阵低秩的张量完备方法与系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202411087929.2A CN118606617B (zh) | 2024-08-09 | 2024-08-09 | 基于Tucker分解因子矩阵低秩的张量完备方法与系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN118606617A true CN118606617A (zh) | 2024-09-06 |
| CN118606617B CN118606617B (zh) | 2024-11-12 |
Family
ID=92548582
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202411087929.2A Active CN118606617B (zh) | 2024-08-09 | 2024-08-09 | 基于Tucker分解因子矩阵低秩的张量完备方法与系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118606617B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119150001A (zh) * | 2024-11-20 | 2024-12-17 | 南京邮电大学 | 一种气候变化和人类活动对流域植被影响的量化方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018099321A1 (zh) * | 2016-11-30 | 2018-06-07 | 华南理工大学 | 一种基于广义树稀疏的权重核范数磁共振成像重建方法 |
| CN113870130A (zh) * | 2021-09-16 | 2021-12-31 | 西安理工大学 | 基于三维全变分和Tucker分解的低秩张量补全方法 |
| CN114841888A (zh) * | 2022-05-16 | 2022-08-02 | 电子科技大学 | 基于低秩张量环分解和因子先验的视觉数据补全方法 |
| CN115170418A (zh) * | 2022-07-05 | 2022-10-11 | 西南财经大学 | 符合退化的低秩高维图像填充模型及其填充方法与系统 |
| CN116245761A (zh) * | 2023-03-02 | 2023-06-09 | 南京航空航天大学 | 一种基于全变分正则化的低秩张量补全方法 |
-
2024
- 2024-08-09 CN CN202411087929.2A patent/CN118606617B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018099321A1 (zh) * | 2016-11-30 | 2018-06-07 | 华南理工大学 | 一种基于广义树稀疏的权重核范数磁共振成像重建方法 |
| CN113870130A (zh) * | 2021-09-16 | 2021-12-31 | 西安理工大学 | 基于三维全变分和Tucker分解的低秩张量补全方法 |
| CN114841888A (zh) * | 2022-05-16 | 2022-08-02 | 电子科技大学 | 基于低秩张量环分解和因子先验的视觉数据补全方法 |
| CN115170418A (zh) * | 2022-07-05 | 2022-10-11 | 西南财经大学 | 符合退化的低秩高维图像填充模型及其填充方法与系统 |
| CN116245761A (zh) * | 2023-03-02 | 2023-06-09 | 南京航空航天大学 | 一种基于全变分正则化的低秩张量补全方法 |
Non-Patent Citations (4)
| Title |
|---|
| CHENJIAN PAN等: "A low-rank and sparse enhanced Tucker decomposition approach for tensor completion", 《APPLIED MATHEMATICS AND COMPUTATION》, vol. 465, no. 15, 9 November 2023 (2023-11-09), pages 1 - 15 * |
| PAN ZHOU等: "Tensor Factorization for Low-Rank Tensor Completion", 《IEEE TRANSACTIONS ON IMAGE PROCESSING》, vol. 27, no. 3, 12 October 2017 (2017-10-12), pages 1152 - 1163 * |
| 张志伟;马杰;夏克文;李昱乐;: "一种应用于高阶数据修复的非负稀疏Tucker分解算法", 光电子・激光, no. 07, 15 July 2017 (2017-07-15) * |
| 白敏茹;黄孝龙;顾广泽;赵雪莹;: "基于张量秩校正的图像恢复方法", 湖南大学学报(自然科学版), no. 10, 25 October 2016 (2016-10-25) * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN119150001A (zh) * | 2024-11-20 | 2024-12-17 | 南京邮电大学 | 一种气候变化和人类活动对流域植被影响的量化方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN118606617B (zh) | 2024-11-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Histogram of oriented gradients feature extraction from raw bayer pattern images | |
| Zhang et al. | Robust low-rank tensor recovery with rectification and alignment | |
| Zhang et al. | Low rank tensor completion with Poisson observations | |
| CN114841888B (zh) | 基于低秩张量环分解和因子先验的视觉数据补全方法 | |
| Hu et al. | The twist tensor nuclear norm for video completion | |
| Mu et al. | Accelerated low-rank visual recovery by random projection | |
| WO2018027584A1 (zh) | 一种目标属性辅助的压缩感知图像恢复方法及其系统 | |
| CN113240596B (zh) | 一种基于高阶张量奇异值分解的彩色视频恢复方法及系统 | |
| CN105761233A (zh) | 一种基于fpga的实时全景图像拼接方法 | |
| CN113781308A (zh) | 图像超分辨率重建方法、装置、存储介质及电子设备 | |
| CN105787867B (zh) | 基于神经网络算法的处理视频图像的方法和装置 | |
| CN106709872B (zh) | 一种快速图像超分辨率重构方法 | |
| Zhang et al. | Unsupervised intrinsic image decomposition using internal self-similarity cues | |
| Mobahi et al. | Seeing through the blur | |
| Song et al. | SODAS-Net: side-information-aided deep adaptive shrinkage network for compressive sensing | |
| CN115953303A (zh) | 结合通道注意力的多尺度图像压缩感知重构方法及系统 | |
| CN118505506A (zh) | 一种低分辨率高光谱图像超分辨率重建方法、设备及介质 | |
| Zhang et al. | Recurrent interaction network for stereoscopic image super-resolution | |
| CN118606617A (zh) | 基于Tucker分解因子矩阵低秩的张量完备方法与系统 | |
| CN116385402A (zh) | 一种基于图像深度学习的蓄电池缺陷检测方法及系统 | |
| Xu et al. | Dual-enhanced high-order self-learning tensor singular value decomposition for robust principal component analysis | |
| Wang et al. | Tensor completion using low-rank tensor train decomposition by Riemannian optimization | |
| CN118379374A (zh) | 基于光谱记忆增强网络的高光谱图像压缩成像方法及装置 | |
| Ni et al. | Example-driven manifold priors for image deconvolution | |
| Zeng et al. | SAU-Net: Saliency-Based Adaptive Unfolding Network for Interpretable High Quality Image Compressed Sensing in Internet of Things |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |