[go: up one dir, main page]

CN111681309B - 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台 - Google Patents

一种生成体素数据和边缘图像特征id矩阵的边缘计算平台 Download PDF

Info

Publication number
CN111681309B
CN111681309B CN202010511907.XA CN202010511907A CN111681309B CN 111681309 B CN111681309 B CN 111681309B CN 202010511907 A CN202010511907 A CN 202010511907A CN 111681309 B CN111681309 B CN 111681309B
Authority
CN
China
Prior art keywords
image
edge
feature
features
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010511907.XA
Other languages
English (en)
Other versions
CN111681309A (zh
Inventor
朱立新
白忠可
宿金超
孙驰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Normal University
Original Assignee
Beijing Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Normal University filed Critical Beijing Normal University
Priority to CN202010511907.XA priority Critical patent/CN111681309B/zh
Publication of CN111681309A publication Critical patent/CN111681309A/zh
Application granted granted Critical
Publication of CN111681309B publication Critical patent/CN111681309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211Selection of the most significant subset of features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467Encoded features or binary features, e.g. local binary patterns [LBP]
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种生成体素数据和边缘图像特征ID矩阵的边缘计算平台,包括:特征提取模块、关联融合模块、图像ID化模块、空间图像体素化模块和结构化存储模块;其中,特征提取模块,用于为获取的图像的特征,并生成边缘特征最小子集,将图像的边缘特征最小子集合并起来构成图像的特征子集;关联融合模块,用于对图像的特征子集进行相关性和非相关性处理,形成边缘相关性关系;图像ID化模块,用于对边缘相关性关系进行ID化处理,形成边缘图像ID矩阵集合;空间图像体素化模块,用于根据边缘图像ID矩阵集合形成体素,以进行三维建模;结构化存储模块,用于在本地保存ID矩阵和体素,或将ID矩阵或体素传至云端。通过本发明生成的体素数据和ID矩阵,可以用于快速构建三维环境,缩短建模响应时间,提高带宽可用性,大大改善用户体验。

Description

一种生成体素数据和边缘图像特征ID矩阵的边缘计算平台
技术领域
本发明涉及图像处理技术领域,具体涉及一种生成体素数据和边缘图像特征ID矩阵的边缘计算平台。
背景技术
随着云计算和人工智能(AI)应用的加速创新,越来越多的终端图像等数据需要传送至云端的服务器进行处理,虽然当前5G技术正在逐步兴起,但是对于海量数据和前所未有的复杂性已经超出了传统的网络和基础架构的能力范围。而且各种终端设备产生的数据发送到集中式数据中心或云端处理往往会导致带宽和延迟问题出现。而边缘计算的出现,在一定程度上能够大大减轻这两个问题的产生。通常来说对于图像和建模类的边缘计算算法可在更接近数据源的位置提供更高效的替代方法处理数据和分析数据。由于数据不会通过网络传输到云端或数据中心以进行处理,因此延迟显着减少。预计未来在5G网络上进行的移动边缘计算支持更快、更全面的数据分析,创造机会获得更深入的洞察,缩短响应时间并改善客户体验。
当前市面上利用图像处理算法对三维环境进行建模的方式普遍都是采用VR技术,在云端进行大量的图像采集和后期处理合成,都存在海量的图像数据处理,传统为了节省时间和性能而使用的单面建模可能行不通,用户也会很近距离观察物体,所以可能需要高分辨率的材质。虽然这样更为精细化的操作能够更为准确和细腻,但是却牺牲了大量的时间,做一个小的项目往往都需要大量的人力和时间去处理才可以成型,其利用数据扫描技术,将照片上的信息注意提取,从而生成高度精确的三维环境体素。在以往的三维环境构建中,甚至有通过三角格网、高度场或BSP树等地理测绘方式来构建学习环境的,然而它们都存在成本太高,仅为表面表示方式,不易修改或适用场合有限等问题,过程中做的无用功也是很多很多。另外对于图像识别过程中很多的边缘计算平台只是简单的预处理了图像数据,对于关联性做不到很好的把控,也就是边缘计算如何远端把图像特征ID化仍然存在以上问题。
发明内容
针对现有技术的不足,本发明通过Atlas微处理器控制摄像头结合系统边缘计算算法提取图像关联信息,进而解决学习环境三维环境建模过程中的体素数据获取问题,快速获取学习环境构建所需数据,进而提高学习环境三维建模速度,并将图像特征关联ID化,本地边缘化计算缩短了云端处理响应时间,提高了带宽可用性。
为实现上述目的,本发明通过以下技术方案予以实现。
一种生成体素数据和边缘图像特征ID矩阵的边缘计算平台,包括:特征提取模块、关联融合模块、图像ID化模块、空间图像体素化模块和结构化存储模块;其中,
特征提取模块,用于对获取的图像进行特征提取,并生成边缘特征最小子集,将所有图像的边缘特征最小子集合并起来构成图像的特征子集;
关联融合模块,用于对所述图像的特征子集进行线性相关性融合和非相关性融合处理,生成边缘相关性关系;
图像ID化模块,用于对所述边缘相关性关系进行ID化处理,生成边缘图像ID矩阵集合;
空间图像体素化模块,用于根据所述边缘图像ID矩阵集合生成体素,以进行三维建模;
结构化存储模块,用于在本地保存ID矩阵和体素,或将ID矩阵或体素传至云端。
进一步的,所述特征提取模块中生成边缘特征最小子集的步骤包括:
S21,对图像进行图像特征提取,其中,图像特征包括颜色特征、形状特征、纹理特征、空间关系特征、图形意义特征;
S22,使用特征矩阵的形式表示所述颜色特征、形状特征、纹理特征、空间关系特征和图形意义特征,根据图像特征生成图像的边缘特征最小子集。
进一步的,在关联融合模块中,对图像的特征子集进行线性融合和非线性融合,生成边缘相关性关系的步骤包括:
S31,使用线性方法、非线性方法和/或流型学习方法并行处理图像的边缘特征最小子集;
S32,对步骤S31的处理结果做最优的正交变换,对特征相关性关系进行方差运算,剔除方差最大特征后进行特征排序;
S33,将特征排序后得到的矩阵进行高维投影并获取最佳图像特征判别的矢量空间,以提取分类信息和压缩特征空间维数,投影后保证图像的特征子集在变换后的子空间类间距离最大和类内距离最小,根据图像的特征子集之间的距离关系或不相似度关系在最佳图像特征判别的矢量空间里生成对图像的特征子集的表示;
S34,对所有图像形成的高维投影矩阵进行主成分分析,去掉冗余和误差,关联所有图像的线性特征关系和非线性特征关系,从而形成图像的边缘相关性关系。
进一步的,在步骤S31中,对图像的最小特征子集的颜色、形状、纹理、空间关系做线性融合变换,分别得到颜色过渡关系、梯度过渡关系、纹理过渡关系、空间位置投影关系;对视频的最小特征子集的颜色、形状、纹理、空间关系做进行非线性融合运算,得到非线性的颜色过渡关系、梯度过渡关系、纹理过渡关系、空间位置投影关系。
进一步的,在步骤S32中,根据步骤S31的结果,对获得图像的特征子集做最优正交变换、方差特征变换、特征排序、高维投影、主成分分析处理,生成关联所有图像特征的边缘相关性关系。
进一步的,线性方法包括成分分析法、线性判别分析法和多维尺度法。
进一步的,在图像ID化模块中,用于对图像的特征子集的边缘相关性关系进行ID化处理,生成ID矩阵的步骤包括;
S41,通过边缘ID算法对图像的特征子集的边缘相关性关系降维;
S42,对图像做ID化加工,生成边缘图像ID矩阵集合。
进一步的,降维的步骤包括:
S411,将边缘相关性关系数据转换到新的坐标系,新坐标系的第一个坐标轴是边缘相关性关系数据中方差最大的方向,第二个坐标轴是和第一个坐标轴正交且具有最大方差的方向;
S412,假设在观察数据中有隐变量,那么隐变量的数据如果比观察数据的数目少,则通过隐变量实现数据降维;
S413,假设观察数据为多个数据源的混合观察结果,数据源之间在统计上是相互独立的,而在PCA中只假设数据是不相关的,如果数据源的数目少于观察数据的数目,则通过投影降维。
进一步的,空间图像体素化模块,用于根据边缘图像ID矩阵集合形成体素,以进行三维建模的步骤包括:
对边缘图像ID矩阵集合进行空间图像拼接串联,形成三维空间中规则格网和可用于进行三维建模的体素,以供体素建模软件使用或存储。
进一步的,还包括结构化存储模块,用于提供本地关系数据库,将图像处理结果全部整合为子目录形式的结构存储,文件目录为图像ID化和空间图像体素化的数据集,对于系统所获取的数据在本地存储,或同步连接结构化存储系统。
本发明采用边缘计算的方式,把用户拍摄的图像源进行加工和处理以获取用于三维建模的边缘图像特征ID矩阵,然后对边缘图像特征ID矩阵进行体素化压缩,然后把所得的边缘计算结果,通过网络上传至云端服务器或者本地保存。对于压缩后的体素和边缘图像特征ID矩阵传送给三维建模软件,可以更快完成室内外一体化学习环境等空间环境的三维建模。利用本发明生成的体素和边缘图像特征ID矩阵,有效利用图像处理算法和边缘计算相结合的特性,更快获得学习环境构建所需三维数据,快速构建三维环境,缩短建模响应时间,提高带宽可用性。另外提供用户一个低延迟、图像ID化、易扩展、易运维的边缘计算平台,为人工智能相关应用开发,学习环境实时建模,AR/VR等图像处理类项目提供更短响应时间,大大改善用户体验。
边缘计算的目的是为了减轻带宽和云端服务器压力的,这里是利用边缘计算把图像ID化+把图像本地体素化,将半成品的边缘图像特征ID矩阵传输到云端,云端服务器再做计算,减轻云端压力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一个实施例的边缘计算平台的结构示意图;
图2为本发明一个实施例的生成边缘特征最小子集的流程示意图;
图3为本发明一个实施例的生成边缘相关性关系的流程示意图;
图4为本发明一个实施例的生成边缘图像ID矩阵的流程示意图;
图5为本发明一个实施例的生成体素的流程示意图;
图6为本发明一个实施例的边缘计算系统的软硬件功能和工作流程示意图;
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清查、完整的描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提出一种构建学习环境的边缘计算平台,如图1所示,包括:特征提取模块、关联融合模块、图像ID化模块、空间图像体素化模块和结构化存储模块;其中,特征提取模块,用于为获取的图像生成边缘特征最小子集;关联融合模块,用于对边缘特征最小子集进行相关性和非相关性处理,生成边缘相关性关系;图像ID化模块,用于对边缘相关性关系进行ID化处理,生成ID矩阵;空间图像体素化模块,用于根据ID矩阵,生成体素数据,以进行三维建模;结构化存储模块,用于在本地保存ID矩阵和体素,或将ID矩阵或体素传至云端。
在特征提取模块中,可以通过摄像头或者其他设备获取图像,然后如图2所示,对图像进行图像特征提取,获取感兴趣区域(即图像的颜色特征、形状特征、纹理特征、空间关系特征)。采用非深度学习方法和深度学习两种方法进行特征提取。提取图像特征的方法有LBP算法、HOG特征提取算法、SIFT算子、SURF、HAAR等,比如,通过LBP算法提取纹理特征;通过HOG特征提取算法提取局部目标区域的方向梯度特征;通过SIFT算法提取局部目标区域的尺度空间特征;通过SURF算法进行特征点提取;通过HAAR算法提取图像中类Haar特征。特征提取算法提取的特征包括图像的颜色特征、形状特征、纹理特征、空间关系特征、图形意义,每种特征都以特征矩阵的形式表示,通过综合这5种特征矩阵形成5维度图像的边缘特征最小子集,每一维表示一种特征,该边缘特征最小子集具备单张图像的边缘特征。
上述算法在提取主要特征的同时祛除了不明显的特征。
经过本步骤,对图像提取了初步的多维度特征提取,祛除图像的无关冗余特征减少不必要特征的相关性,减少无用信息,生成一组边缘特征最小子集。
一个视频包含若干帧图像,边缘特征最小子集是每一帧图像的信息,所有帧的边缘特征最小子集合并起来构成图像的特征子集。
在特征融合模块中,对图像的特征子集进行相应的线性和非线性关联融合,如图3所示,然后围绕从搜索策略到评价准则进行最优正交变换、反差特征、特征排序、高维投影、主成分分析等操作生成边缘相关性关系。
在特征融合模块中,线性方法和非线性方法并行处理,其中线性方法包括成分分析法(PCA)、线性判别分析法(LAD)、多维尺度法(MDS),非线性方法包括KPCA和KDA方法,还可以使用流型学习(Manifold Learning)方法进行处理。
成分分析法(PCA)通过线性变换将就图像的特征子集变换为一组各维度线性无关的表示,用于提取数据的主要特征分量,用于高维数据的降维;线性判别分析法(LAD)用于将图像的特征子集在低维度上进行投影降维处理;多维尺度法(MDS)将图像的特征子集简化到低维空间进行定位、分析和归类;非线性方法(KPCA,KDA)通过核函数(kernel)将图像的特征子集映射到高维度空间,再利用PCA算法进行降维;流型学习把图像的特征子集在低维空间中重新表示。通过上述方法进行关联融合并降维,将图像的特征子集融合成了更为精确的相关关系和低维的矩阵关系,也就是边缘相关性关系。
通过关联融合提高了图像特征提取的准确性,降低过度拟合,另外对于提高云端的训练速度是最有帮助的。
通过对图像的特征子集求解最优的正交变换,得到一组相互间方差最大的新特征矩阵,对新特征矩阵进行重要性排序,选取前几个主成分生成边缘相关性关系中的元素。
将图像的特征子集(高维的)投影到最佳判别的矢量空间,以达到提取分类信息和压缩特征空间维数的效果,投影后保证图像的特征子集在新的子空间类间距离最大和类内距离最小,即图像的特征子集在该空间中有最佳的可分离性。在最佳判别的矢量空间里根据图像的特征子集之间的距离关系或不相似度关系生成对图像的特征子集的一种矩阵表示。
对图像的特征子集进行非线性变换,通过在变换空间进行主成分分析来实现在原空间的非线性主成分分析。通过局部距离来定义非线性距离度量,在图像的特征子集分布较密集的情况下可以实现非线性距离度量,形成边缘相关性关系。
这里的复杂代指边缘特征最小子集里面未确认是否相关的关系,有5种相互变换。
具体来说,边缘计算平台可以生成图像的特征子集后,针对其进行线性融合和非线性融合,主要包括对各种维度的数据进行变换,系统获取图像的边缘特征最小子集后,针对颜色特征、形状特征、纹理特征、空间关系、图形意义进行线性融合,对颜色、形状、纹理、空间关系做线性变换,得到颜色过渡关系,梯度过渡关系,纹理过渡关系、空间位置投影关系。然后对边缘特征最小子集进行非线性运算,得到非线性的颜色过渡关系,梯度过渡关系,纹理过渡关系、空间位置投影关系。系统综合线性和非线性关系获得图像的最优正交变换、方差特征变换、特征排序、高维投影、主成分分析等,共同组成图像的边缘相关性关系。
图像ID化模块中,针对图像的边缘相关性关系做边缘ID算法处理,如图4所示,通过边缘ID算法运算,降低图像特征的空间维数(降维),针对图像做ID化加工,图像的ID包括:位置特征、颜色特征、动作特征、空间关系特征、相对周围环境特征、动作预判特征等,最后生成图像的边缘图像ID矩阵集合,通过接口传输至本地存储或者云端存储。
降维的作用是:通过一定的数学运算得到一组新的特征变换,有效降低图像特征空间维数,消除特征之间存在的相关性,减少特征中的无用信息,对输入的图像进行ID化,所谓ID化就是每一帧图像具备独一无二特征,针对所有图像的特征进行关联融合形成ID矩阵,ID矩阵包括可视化静态图像描述和动态预判,比如拍摄室内环境的时候桌子上有一只跃起的小猫,此时该帧图像的ID则会具有:猫的位置特征、颜色特征、动作特征、空间关系特征、相对周围环境特征、即将落下预判特征等,提升数据可视化能力,便于终端和云端再利用;
空间环境特征降维本着最近重构性和最大可分性两个准则进行降维。降维的方法步骤是:
1、针对边缘相关性关系数据从原来的坐标系转换到新的坐标系,第一个新坐标轴选择的是原始数据中方差最大的方向,第二个新坐标轴选择和第一个坐标轴正交且具有最大方差的方向。
2、假设在观察数据的生成中有一些观察不到的隐变量。假设观察数据是这些隐变量和某些噪声数据的线性组合。那么隐变量的数据可能比观察数据的数目少,也就是说通过找到隐变量就可以实现数据降维。
3、假设数据为多个数据源的混合观察结果,这些数据源之间在统计上是相互独立的,而在PCA中只假设数据是不相关的。同因子分析一样,如果数据源的数目少于观察数据的数目,则可实现降维。
在空间图像体素化模块中,对边缘图像的ID矩阵进行体素化。如图5所示,具体为:把获取的边缘图像的ID矩阵按照图像特征进行空间位置拼接串联,生成三维空间中具备空间图像表面特征和位置特征规则格网的高程值(高程值:地形表面形态属性信息的数字表达,是带有空间位置特征和地形属性特征的数字描述),输出可用于进行三维建模的体素数据,供体素建模软件使用。其中输出的体素在空间中没有绝对位置的坐标,只有相对位置,可构成单一张体积影像的数据结构中的位置。输出的最小的体素单元可以根据用户设定而做,如立方体、多面体的、球体等模型。用户可使用生成的体素数据进行快速的三维构建,以便更接近实物的展现出来,有效提高了模型的可解释性。
比如,将体素构成的空间环境模型所在空间划分成网格,使用三角面片距离方法直接对网格进行统计,以确定网格是否被模型覆盖。具体方法是:遍历所有的三角形,计算三角形到体素化网格中间的距离,设定阈值进行判断是否覆盖该格子。另外对于复杂环境设计图像拼接状况下,平台采用Atlas微处理器,该处理器内部GPU会进行基于渲染的体素化方法获取空间和物体体素,在渲染管线中,GPU会对三角面片进行光栅化。最终形成具有包含学习环境模型的表面信息和能描述模型的内部属性的空间环境体素化图像信息,输出可用于进行三维建模的空间环境体素,供体素建模软件使用或者存储。
边缘计算平台还包括结构化存储模块,用于提供本地关系数据库,对于图像处理结果全部整合为子目录形式的结构存储,文件目录为图像ID化和空间图像体素化的数据集。对于边缘计算平台所获取的数据也可以本地存储,亦可以同步连接Cassandra、Bigtable、Hadoopdb、Megastore、Dynamo等结构化存储系统。
体素数据可以整合形成子目录形式的结构存储,包括云端上传和本地存储备份至Micro SD或者本地硬盘,另外系统内部可根据边缘计算需求定制特定协议的输出格式,在USB口外接存储设备的前提下,用户按下报告输出按键,系统即可输出边缘计算结果,给用户查看图像处理进度和结果等。
本发明可以用于AR/VR场景的空间环境构建中,如构建学习环境(教室)等。
参考图6所示,本发明的功能部件和人工智能与边缘计算平台的处理流程包括以下步骤:
步骤一:Atlas微处理器上电后,系统启动并进入初始化或者设定模式,之后系统开始进入自检模式,对摄像头、USB接口、本地存储硬盘、40Pin IO口连接设备和电池电量等外围器件进行软硬件自检,自检无误后系统进入工作模式;
步骤二:系统进入工作模式后,检测图像输入端是否有图像传入指令,若无则系统进入待机模式,等待系统唤醒。此时系统关闭云端和本地存储软件功能,系统处于休眠状态各个并行算法模块全部休眠,系统仅保留唤醒检测功能;
步骤三:系统被唤醒之后,针对传输进来的图像,核心处理器首先对图像进行分割,并获取感兴趣的区域进行特征提取。提取完成年后本地存储;
步骤四:系统对特征提取算法完成的内容进行关联融合,主要使用线性方法和非线性方法两种方法进行关联融合。
步骤五:图像经过特征提取和关联融合之后,针对每一帧图像做ID化加工,并形成特定的图像ID矩阵,通过接口传输至用户应用或者云端;
步骤六:图像经过ID化之后,Atlas微处理器会对基本的空间图像做体素化处理,输出可用于进行三维建模的体素,供体素建模软件使用。
步骤七:Atlas微处理器对系统算法处理完成的数据进行整合,进行结构化处理并上传至云端。
步骤八:系统图像处理完成后生成图像处理报告,主要包括图像ID化和体素化结果,以目录形式呈现。
步骤九:系统电量不足或意外断电,算法系统会终止当前操作,并记录工作日志,下次启动后按照工作日志恢复至上次中断节点继续执行未完成部分,工作日志自动在本地存储。
本发明可有效利用图像处理算法和边缘计算相结合的特性,更快获得学习环境构建所需三维数据,快速构建三维环境,缩短建模响应时间,提高带宽可用性。另外提供用户一个低延迟、图像ID化、易扩展、易运维的边缘计算平台,为人工智能相关应用开发,学习环境实时建模,AR/VR等图像处理类项目提供更短响应时间,大大改善用户体验。相比于常规的边缘平台,本发明具备以下优势和亮点:
(1)特征提取:各种算法的本地融合使用和计算,形成边缘特征后再上传至云端做进一步提取,可有效提高了带宽使用效率,提高特征提取的准确性;
(2)关联融合:对于边缘特征再做本地相关性和非相关性处理,形成边缘相关性关系,可有效降低过度拟合风险、提高云端训练速度;
(3)图像ID化:对于经过特征提取和数据关联之后,边缘计算平台会针对图像做ID建模处理,无论传输至云端还是本地使用,均可以大幅度提升数据可视化能力,让数据更为形象化,形成独一无二的边缘图像ID;
(4)空间图像体素化:把三维空间图像ID化之后形成方便建模的四维化描述体素,提高模型可解释性,适配各种建模引擎;
(5)结构化存储:边缘云存储和系统化的云端存储,方便终端和云端计算使用,改变以往全部依赖云端存储和计算的劣势,提升实时建模效率,增强体验感。
以上实施例仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种生成体素数据和边缘图像特征ID矩阵的边缘计算平台,其特征在于,包括:特征提取模块、关联融合模块、图像ID化模块、空间图像体素化模块和结构化存储模块;其中,
特征提取模块,用于对获取的图像进行特征提取,并生成边缘特征最小子集,将所有图像的边缘特征最小子集合并起来构成图像的特征子集;
关联融合模块,用于对所述图像的特征子集进行线性相关性融合和非相关性融合处理,生成边缘相关性关系;
图像ID化模块,用于对所述边缘相关性关系进行ID化处理,生成边缘图像ID矩阵集合;
空间图像体素化模块,用于根据所述边缘图像ID矩阵集合生成体素,以进行三维建模;
结构化存储模块,用于在本地保存ID矩阵和体素,或将ID矩阵或体素传至云端;
在关联融合模块中,对图像的特征子集进行线性融合和非线性融合,生成边缘相关性关系的步骤包括:
S31,使用线性方法、非线性方法和/或流型学习方法并行处理图像的边缘特征最小子集;
S32,对步骤S31的处理结果做最优的正交变换,对特征相关性关系进行方差运算,剔除方差最大特征后进行特征排序;
S33,将特征排序后得到的矩阵进行高维投影并获取最佳图像特征判别的矢量空间,以提取分类信息和压缩特征空间维数,投影后保证图像的特征子集在变换后的子空间类间距离最大和类内距离最小,根据图像的特征子集之间的距离关系或不相似度关系在最佳图像特征判别的矢量空间里生成对图像的特征子集的表示;
S34,对所有图像形成的高维投影矩阵进行主成分分析,去掉冗余和误差,关联所有图像的线性特征关系和非线性特征关系,从而形成图像的边缘相关性关系。
2.根据权利要求1所述的边缘计算平台,其特征在于,所述特征提取模块中生成边缘特征最小子集的步骤包括:
S21,对图像进行图像特征提取,其中,图像特征包括颜色特征、形状特征、纹理特征、空间关系特征、图形意义特征;
S22,使用特征矩阵的形式表示所述颜色特征、形状特征、纹理特征、空间关系特征和图形意义特征,根据图像特征生成图像的边缘特征最小子集。
3.根据权利要求1所述的边缘计算平台,其特征在于,在步骤S31中,对图像的最小特征子集的颜色、形状、纹理、空间关系做线性融合变换,分别得到颜色过渡关系、梯度过渡关系、纹理过渡关系、空间位置投影关系;对视频的最小特征子集的颜色、形状、纹理、空间关系做进行非线性融合运算,得到非线性的颜色过渡关系、梯度过渡关系、纹理过渡关系、空间位置投影关系。
4.根据权利要求1所述的边缘计算平台,其特征在于,在步骤S32中,根据步骤S31的结果,对获得的图像特征子集做最优正交变换、方差特征变换、特征排序、高维投影、主成分分析处理,生成关联所有图像特征的边缘相关性关系。
5.根据权利要求1所述的边缘计算平台,其特征在于,线性方法包括成分分析法、线性判别分析法和多维尺度法。
6.根据权利要求1所述的边缘计算平台,其特征在于,在图像ID化模块中,用于对图像的特征子集的边缘相关性关系进行ID化处理,生成ID矩阵的步骤包括;
S41,通过边缘ID算法对图像的特征子集的边缘相关性关系降维;
S42,对图像做ID化加工,生成边缘图像ID矩阵集合。
7.根据权利要求6所述的边缘计算平台,其特征在于,降维的步骤包括:
S411,将边缘相关性关系数据转换到新的坐标系,新坐标系的第一个坐标轴是边缘相关性关系数据中方差最大的方向,第二个坐标轴是和第一个坐标轴正交且具有最大方差的方向;
S412,假设在观察数据中有隐变量,那么隐变量的数据如果比观察数据的数目少,则通过隐变量实现数据降维;
S413,假设观察数据为多个数据源的混合观察结果,数据源之间在统计上是相互独立的,而在PCA中只假设数据是不相关的,如果数据源的数目少于观察数据的数目,则通过投影降维。
8.根据权利要求1所述的边缘计算平台,其特征在于,空间图像体素化模块,用于根据边缘图像ID矩阵集合形成体素,以进行三维建模的步骤包括:
对边缘图像ID矩阵集合进行空间图像拼接串联,形成三维空间中规则格网和可用于进行三维建模的体素,以供体素建模软件使用或存储。
9.根据权利要求1所述的边缘计算平台,其特征在于,还包括结构化存储模块,用于提供本地关系数据库,将图像处理结果全部整合为子目录形式的结构存储,文件目录为图像ID化和空间图像体素化的数据集,对于系统所获取的数据在本地存储,或同步连接结构化存储系统。
CN202010511907.XA 2020-06-08 2020-06-08 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台 Active CN111681309B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010511907.XA CN111681309B (zh) 2020-06-08 2020-06-08 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010511907.XA CN111681309B (zh) 2020-06-08 2020-06-08 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台

Publications (2)

Publication Number Publication Date
CN111681309A CN111681309A (zh) 2020-09-18
CN111681309B true CN111681309B (zh) 2023-07-25

Family

ID=72435697

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010511907.XA Active CN111681309B (zh) 2020-06-08 2020-06-08 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台

Country Status (1)

Country Link
CN (1) CN111681309B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113117344B (zh) * 2021-04-01 2023-07-18 广州虎牙科技有限公司 体素建筑的生成方法、装置、电子设备及存储介质
CN113920499B (zh) * 2021-10-27 2024-12-17 江苏大学 一种面向复杂交通场景的激光点云三维目标检测模型及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101388020A (zh) * 2008-07-07 2009-03-18 华南师范大学 一种基于内容的复合型图像检索方法
JP2009140513A (ja) * 2002-07-16 2009-06-25 Nec Corp パターン特徴抽出方法及びその装置
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN109949349A (zh) * 2019-01-24 2019-06-28 北京大学第三医院(北京大学第三临床医学院) 一种多模态三维图像的配准及融合显示方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2559157A (en) * 2017-01-27 2018-08-01 Ucl Business Plc Apparatus, method and system for alignment of 3D datasets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140513A (ja) * 2002-07-16 2009-06-25 Nec Corp パターン特徴抽出方法及びその装置
CN101388020A (zh) * 2008-07-07 2009-03-18 华南师范大学 一种基于内容的复合型图像检索方法
WO2018040099A1 (zh) * 2016-08-31 2018-03-08 深圳市唯特视科技有限公司 一种基于灰度和深度信息的三维人脸重建方法
CN109949349A (zh) * 2019-01-24 2019-06-28 北京大学第三医院(北京大学第三临床医学院) 一种多模态三维图像的配准及融合显示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NSCT与边缘检测相结合的多聚焦图像融合算法;宋瑞霞 等;计算机辅助设计与图形学学报;28(12);2134-2141 *

Also Published As

Publication number Publication date
CN111681309A (zh) 2020-09-18

Similar Documents

Publication Publication Date Title
US12008710B2 (en) Generating light-source-specific parameters for digital images using a neural network
JP7526412B2 (ja) パラメータ推定モデルの訓練方法、パラメータ推定モデルの訓練装置、デバイスおよび記憶媒体
Lian et al. Visual similarity based 3D shape retrieval using bag-of-features
WO2021093453A1 (zh) 三维表情基的生成方法、语音互动方法、装置及介质
CN107229757B (zh) 基于深度学习和哈希编码的视频检索方法
CN108171133B (zh) 一种基于特征协方差矩阵的动态手势识别方法
CN113808277B (zh) 一种图像处理方法及相关装置
Biasotti et al. SHREC’14 track: Retrieval and classification on textured 3D models
US20200057778A1 (en) Depth image pose search with a bootstrapped-created database
CN111507357B (zh) 一种缺陷检测语义分割模型建模方法、装置、介质及设备
CN111862278B (zh) 一种动画获得方法、装置、电子设备及存储介质
CN110942110A (zh) 一种三维模型的特征提取方法和装置
CN111127631A (zh) 基于单图像的三维形状和纹理重建方法、系统及存储介质
KR102129060B1 (ko) 단일 깊이 영상을 이용한 내용기반 3차원 모델 검색 방법, 이를 수행하는 3차원 모델 검색 서버 및 컴퓨터로 판독 가능한 기록매체
CN111681309B (zh) 一种生成体素数据和边缘图像特征id矩阵的边缘计算平台
CN112330825A (zh) 一种基于二维图像信息的三维模型检索方法
Feng et al. 3D shape retrieval using a single depth image from low-cost sensors
CN115222896B (zh) 三维重建方法、装置、电子设备及计算机可读存储介质
CN110910463A (zh) 全视角点云数据定长有序化编码方法、设备及存储介质
CN111862328B (zh) 一种基于小样本的三维网格分割结果标签化的方法
CN111597367B (zh) 基于视图和哈希算法的三维模型检索方法
CN120014669A (zh) 家居宠物识别方法、系统、终端及介质
CN119741419A (zh) 一种用于高斯基元补全的扩散模型的训练方法及装置
CN119625169A (zh) 一种基于结构化三维高斯表示的三维重建方法及装置
Proenca et al. SHREC’15 Track: Retrieval of Oobjects captured with kinect one camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant