[go: up one dir, main page]

CN112395336B - 一种长时间序列数据管理和可视化方法 - Google Patents

一种长时间序列数据管理和可视化方法 Download PDF

Info

Publication number
CN112395336B
CN112395336B CN202011358853.4A CN202011358853A CN112395336B CN 112395336 B CN112395336 B CN 112395336B CN 202011358853 A CN202011358853 A CN 202011358853A CN 112395336 B CN112395336 B CN 112395336B
Authority
CN
China
Prior art keywords
series data
long
data
time
term
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011358853.4A
Other languages
English (en)
Other versions
CN112395336A (zh
Inventor
徐佳佳
易忠
李曼丽
赵晶晶
何磊
张海英
邱逸昌
李梦
韩兴龙
周乐
赵永平
张旭明
袁坤
曹志杰
原奕
黄魁
仇玉雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Spacecraft Environment Engineering
Original Assignee
Beijing Institute of Spacecraft Environment Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Spacecraft Environment Engineering filed Critical Beijing Institute of Spacecraft Environment Engineering
Priority to CN202011358853.4A priority Critical patent/CN112395336B/zh
Publication of CN112395336A publication Critical patent/CN112395336A/zh
Application granted granted Critical
Publication of CN112395336B publication Critical patent/CN112395336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/248—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2474—Sequence data queries, e.g. querying versioned data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/26—Visual data mining; Browsing structured data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供一种长时间序列数据管理和可视化方法，所述方法包括如下步骤：确定长时间序列数据的降精尺度集Tc；根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中；获取用户设定的数据查询时间宽度Tw；从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。本发明提供的长时间序列数据管理和可视化方法能够完成时序数据曲线的可视化，该方法采用了降精处理的方法，以不同的降精尺度实现对长时间序列数据的降精处理，并将降精处理得到的时间序列数据子集存储在数据库中，以便于后期对长时间序列数据进行管理和可视化展示。

Description

一种长时间序列数据管理和可视化方法
技术领域
本申请涉及工业数据采集存储技术领域，尤其涉及一种长时间序列数据管理和可视化方法。
背景技术
随着5G技术的发展，物联网技术已经被广泛应用到城市管理、物流管理以及工业生产过程中，这就涉及到长时间的时间序列数据的存储。目前，已经有了较多的时间序列数据库技术，能够解决长时间的海量数据的存储问题，但是，后期长时间序列数据的可视化尚未有较好的方法，而且无论是采用像素点直接生成图片，还是直接利用可视化插件，都难以直接完成时序数据曲线的可视化。
发明内容
本申请的目的是针对以上问题，提供一种长时间序列数据管理和可视化方法。
本申请提供一种长时间序列数据管理和可视化方法，所述方法包括如下步骤：
S1、确定长时间序列数据的降精尺度集Tc；
S2、根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中；
S3、获取用户设定的数据查询时间宽度Tw；
S4、从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。
进一步的，所述降精尺度集Tc包括n个数值互不相同的降精尺度，n为2～20中的任意自然数。
进一步的，确定长时间序列数据的降精尺度集Tc的方法包括：
S10、判断长时间序列数据的数据类型是否为实时数据；
S11、当长时间序列数据的数据类型是实时数据时，根据采集设备的采样周期确定降精尺度集Tc；
S12、当长时间序列数据的数据类型不是实时数据时，采用如下步骤来确定降精尺度集Tc：
S121、根据长时间序列数据的原始采样频率F0来确定最小时间宽度Tcmin，Tcmin的表达式为Tcmin＝1/F0；
S122、确定最大时间宽度Tcmax，Tcmax的表达式为
Tcmax＝Pmax/[(Te-Ts)*F0]
其中，Pmax为可视化工具所能容纳的最大数据集，Te为长时间序列数据的结束时间，Ts为长时间序列数据的开始时间，F0为长时间序列数据的原始采样频率；
S123、在Tcmin～Tcmax范围内选取n个互不相同的数值，组成降精尺度集Tc。
进一步的，根据降精尺度集Tc对长时间序列数据进行降精处理时，具体包括：
S20、判断长时间序列数据的数据类型是否为实时数据；
S21、当长时间序列数据的数据类型是实时数据时，将采集设备采集到的原始数据存储到数据库中，并在存储的过程中，依据降精尺度集Tc对长时间序列数据进行降精处理；
S22、当长时间序列数据的数据类型不是实时数据时，判断数据文件的大小是否超过初始设定值D0；
S221、当数据文件的大小超过初始设定值D0时，采用Map-Reduce编程模型来完成降精处理；
S222、当数据文件的大小未超过初始设定值D0时，采用单机程序来完成降精处理。
进一步的，所述初始设定值D0的取值为20G。
与现有技术相比，本申请的有益效果：该长时间序列数据管理和可视化方法能够完成时序数据曲线的可视化，该方法采用了降精处理的方法，以不同的降精尺度实现对长时间序列数据的降精处理，并将降精处理得到的时间序列数据子集存储在数据库中，以便于后期对长时间序列数据进行管理和可视化展示。
附图说明
图1为本申请实施例提供的长时间序列数据管理和可视化方法的流程图；
图2为图1中步骤S1具体实施的流程示意图；
图3为图1中步骤S2具体实施的流程示意图。
具体实施方式
为了使本领域技术人员更好地理解本申请的技术方案，下面结合附图对本申请进行详细描述，本部分的描述仅是示范性和解释性，不应对本申请的保护范围有任何的限制作用。
请参考图1，本实施例提供一种长时间序列数据管理和可视化方法，所述方法包括如下步骤：
S1、确定长时间序列数据的降精尺度集Tc。
所述降精尺度集Tc是一个集合，它包括n个数值互不相同的降精尺度，n为2～20中的任意自然数，n一般取5或者6为宜。
请参考图2，确定长时间序列数据的降精尺度集Tc的具体步骤包括：
S10、判断长时间序列数据的数据类型是否为实时数据。
长时间序列数据的包括两种类型，一种是实时采集的实时数据，另外一种是已经采集完的离线数据，对于两种不同类型的长时间序列数据，采用不同的方法来确定降精尺度集Tc。
S11、当长时间序列数据的数据类型是实时数据时，根据采集设备的采样周期确定降精尺度集Tc。
采集设备一般是指传感器，降精尺度集Tc可根据经验自行定义，降精尺度集Tc中最小的取值不小于采集设备的采样周期，比如，降精尺度集Tc的取值为Tc＝{0.5s，1s，10s，60s，600s}。
S12、当长时间序列数据的数据类型不是实时数据时，采用如下步骤来确定降精尺度集Tc：
S121、根据长时间序列数据的原始采样频率F0来确定最小时间宽度Tcmin，Tcmin的表达式为Tcmin＝1/F0；
S122、确定最大时间宽度Tcmax，Tcmax的表达式为
Tcmax＝Pmax/[(Te-Ts)*F0]
其中，Pmax为可视化工具所能容纳的最大数据集，Te为长时间序列数据的结束时间，Ts为长时间序列数据的开始时间，F0为长时间序列数据的原始采样频率；
S123、在Tcmin～Tcmax范围内选取n个互不相同的数值，组成降精尺度集Tc。一般地，降精尺度集Tc的取值为Tc＝{1/F0，2/F0，3/F0，4/F0，5/F0，......}，其中F0为该长时间序列数据的原始采样频率。
当长时间序列数据的数据类型不是实时数据，即是离线数据时，该长时间序列数据的大小是已知的，此时需要将该长时间序列数据的大小与可视化工具所能容纳的最大数据集Pmax的大小做比较，本实施例的步骤是以该长时间序列数据的大小不大于Pmax为例给出的，当该长时间序列数据的大小大于Pmax时，需要先将该长时间序列数据进行分段，再确保每段数据的大小均不大于Pmax，然后再对每一段数据采用本实施例的方法进行相应地处理。
S2、根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中。
多个时间序列数据子集可分为不同的层级，层级的数量与的数量一致，均为n，每个层级与降精尺度集Tc中的一个降精尺度相对应，降精尺度越小，其对应的时间序列数据子集的层级就越低。
请参考图3，根据降精尺度集Tc对长时间序列数据进行降精处理时，具体包括：
S20、判断长时间序列数据的数据类型是否为实时数据；
S21、当长时间序列数据的数据类型是实时数据时，将采集设备采集到的原始数据存储到数据库中，并在存储的过程中，依据降精尺度集Tc对长时间序列数据进行降精处理；
S22、当长时间序列数据的数据类型不是实时数据时，判断数据文件的大小是否超过初始设定值D0。一般地，所述初始设定值D0的取值为20G。
S221、当数据文件的大小超过初始设定值20G时，采用Map-Reduce编程模型来完成降精处理。
S222、当数据文件的大小未超过初始设定值20G时，采用单机程序来完成降精处理。对于小于20G的离线数据，单机程序采用分段读取的方法即可完成对数据的降精处理。
S3、获取用户设定的数据查询时间宽度Tw。该时间宽度Tw是用户在可视化工具的系统中根据实际需要自行设置的。
S4、从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。
具体地，系统会根据时间宽度Tw从数据库中进行检索，检索与该时间宽度Tw相匹配层级的时间序列数据子集，并将其在客户端以曲线的方式进行展示。在客户端，用户可以根据需要通过设置不同的时间宽度Tw，来获取不同层级的时间序列数据子集所对应的曲线。
本申请实施例提供的长时间序列数据管理和可视化方法，以不同的降精尺度对长时间序列数据进行降精处理来实现对数据降维，并将降精处理得到的时间序列数据子集存储在数据库中，以便于后期对长时间序列数据进行管理和可视化展示；该方法既适用于实时采集的数据，又适用于之前采集的离线数据；该方法数据可视化响应快，用户在客户端获取到的是通过降精的数据，数据量小数据可视化效率高。
本申请实施例提供的长时间序列数据管理和可视化方法，不仅能够应用于水下探测领域，也可以拓展应用在物联网领域、制造领域、电子商务交易领域以及其它应用到时间序列数据分析的领域。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。以上所述仅是本申请的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其他场合的，均应视为本申请的保护范围。

Claims (4)

1.一种长时间序列数据管理和可视化方法，其特征在于，所述方法包括如下步骤：
S1、确定长时间序列数据的降精尺度集Tc；
具体步骤包括：
S10、判断长时间序列数据的数据类型是否为实时数据；
S11、当长时间序列数据的数据类型是实时数据时，根据采集设备的采样周期确定降精尺度集Tc；
S12、当长时间序列数据的数据类型不是实时数据时，采用如下步骤来确定降精尺度集Tc：
S121、根据长时间序列数据的原始采样频率F0来确定最小时间宽度Tcmin，Tcmin的表达式为Tcmin＝1/F0；
S122、确定最大时间宽度Tcmax，Tcmax的表达式为
Tcmax＝Pmax/[(Te-Ts)*F0]
其中，Pmax为可视化工具所能容纳的最大数据集，Te为长时间序列数据的结束时间，Ts为长时间序列数据的开始时间，F0为长时间序列数据的原始采样频率；
S123、在Tcmin～Tcmax范围内选取n个互不相同的数值，组成降精尺度集Tc；
S2、根据降精尺度集Tc对长时间序列数据进行降精处理，得到多个时间序列数据子集，并将各个时间序列数据子集存储到数据库中；
S3、获取用户设定的数据查询时间宽度Tw；
S4、从数据库中检索满足所述时间宽度Tw的时间序列数据子集，并将其以曲线的方式在客户端进行展示。
2.根据权利要求1所述的长时间序列数据管理和可视化方法，其特征在于，所述降精尺度集Tc包括n个数值互不相同的降精尺度，n为2～20中的任意自然数。
3.根据权利要求2所述的长时间序列数据管理和可视化方法，其特征在于，根据降精尺度集Tc对长时间序列数据进行降精处理时，具体包括：
S20、判断长时间序列数据的数据类型是否为实时数据；
S21、当长时间序列数据的数据类型是实时数据时，将采集设备采集到的原始数据存储到数据库中，并在存储的过程中，依据降精尺度集Tc对长时间序列数据进行降精处理；
S22、当长时间序列数据的数据类型不是实时数据时，判断数据文件的大小是否超过初始设定值D0；
S221、当数据文件的大小超过初始设定值D0时，采用Map-Reduce编程模型来完成降精处理；
S222、当数据文件的大小未超过初始设定值D0时，采用单机程序来完成降精处理。
4.根据权利要求3所述的长时间序列数据管理和可视化方法，其特征在于，所述初始设定值D0的取值为20G。
CN202011358853.4A 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法 Active CN112395336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011358853.4A CN112395336B (zh) 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011358853.4A CN112395336B (zh) 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法

Publications (2)

Publication Number Publication Date
CN112395336A CN112395336A (zh) 2021-02-23
CN112395336B true CN112395336B (zh) 2024-03-19

Family

ID=74604612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011358853.4A Active CN112395336B (zh) 2020-11-27 2020-11-27 一种长时间序列数据管理和可视化方法

Country Status (1)

Country Link
CN (1) CN112395336B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753935B1 (en) * 2016-08-02 2017-09-05 Palantir Technologies Inc. Time-series data storage and processing database system
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置
WO2020057272A1 (zh) * 2018-09-18 2020-03-26 厦门市美亚柏科信息股份有限公司 一种索引数据存储及检索方法、装置及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10496927B2 (en) * 2014-05-23 2019-12-03 DataRobot, Inc. Systems for time-series predictive data analytics, and related methods and apparatus

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9753935B1 (en) * 2016-08-02 2017-09-05 Palantir Technologies Inc. Time-series data storage and processing database system
WO2018075995A1 (en) * 2016-10-21 2018-04-26 DataRobot, Inc. Systems for predictive data analytics, and related methods and apparatus
WO2020057272A1 (zh) * 2018-09-18 2020-03-26 厦门市美亚柏科信息股份有限公司 一种索引数据存储及检索方法、装置及存储介质
CN110765154A (zh) * 2019-10-16 2020-02-07 华电莱州发电有限公司 火电厂海量实时生成数据的处理方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于同源数据的序列比例尺地图综合缩编平台建设;刘洋;兰泽英;;测绘工程(12);全文 *
基于小波和动态时间弯曲的时间序列相似匹配;曲文龙;张德政;杨炳儒;;北京科技大学学报(04);全文 *

Also Published As

Publication number Publication date
CN112395336A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
WO2017035922A1 (zh) 一种基于改进lda模型的互联网话题在线挖掘方法
CN110781316A (zh) 一种融合超平面和持续时间建模的时间感知知识表示学习方法
EP3933719A3 (en) Method, apparatus, device, storage medium and computer program product for labeling data
CN112784591A (zh) 数据的处理方法、装置、电子设备和存储介质
CN103530812A (zh) 一种基于局部敏感哈希的电网状态相似度量化分析方法
CN116611696A (zh) 一种基于时间序列分析的数字资产市场风险预测系统
CN118296944A (zh) 一种基于扩散模型的工业物联网数字孪生建模方法及系统
CN103514276B (zh) 基于中心估计的图形目标检索定位方法
CN113051472B (zh) 点击通过率预估模型的建模方法、装置、设备以及存储介质
CN114385831A (zh) 一种基于特征提取的知识图谱关系预测方法
CN107491549A (zh) 一种数据处理方法及系统
CN112395336B (zh) 一种长时间序列数据管理和可视化方法
CN110659724B (zh) 基于目标尺度的目标检测深度卷积神经网络构建方法
CN108804037A (zh) 基于箱型图处理存储设备历史性能数据的方法及系统
CN113377922B (zh) 用于匹配信息的方法、装置、电子设备以及介质
CN102903087A (zh) 基于gpu编程的sar图像去噪方法
CN114821140A (zh) 基于曼哈顿距离的图像聚类方法、终端设备及存储介质
CN105094928A (zh) 一种基于插件的动态图表加载方法
CN113052325A (zh) 在线模型的优化方法、装置、设备、存储介质及程序产品
CN118968026A (zh) 一种基于深度学习的目标检测系统
CN111680163A (zh) 一种面向电力科技成果的知识图谱可视化方法
CN117093260A (zh) 一种基于决策树分类算法的融合模型网站结构解析方法
CN111475641A (zh) 一种数据抽取方法、装置、存储介质及设备
CN117195118A (zh) 一种数据的异常检测方法、装置、设备及介质
CN116150132A (zh) 一种企业物联数据处理方法、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant