[go: up one dir, main page]

CN110135817A - 应用于农业物联网的数据处理方法及装置 - Google Patents

应用于农业物联网的数据处理方法及装置 Download PDF

Info

Publication number
CN110135817A
CN110135817A CN201910432923.7A CN201910432923A CN110135817A CN 110135817 A CN110135817 A CN 110135817A CN 201910432923 A CN201910432923 A CN 201910432923A CN 110135817 A CN110135817 A CN 110135817A
Authority
CN
China
Prior art keywords
data
module
things
early warning
data processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910432923.7A
Other languages
English (en)
Inventor
刘红霞
吴敏宁
张永恒
张峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yulin University
Original Assignee
Yulin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yulin University filed Critical Yulin University
Priority to CN201910432923.7A priority Critical patent/CN110135817A/zh
Publication of CN110135817A publication Critical patent/CN110135817A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • General Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Agronomy & Crop Science (AREA)
  • Animal Husbandry (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Mining & Mineral Resources (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Operations Research (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种应用于农业物联网的数据处理方法及装置，包括目标数据采集模块、数据整理模块、数据特征提取模块、数据分析模块、数据定位模块、监测模块、预警模块和中央处理器。本发明在实现目标数据定向采集的同时实现了冲突数据和亢余数据的自动清除，提高了数据源的可靠性。基于MapReduce进行数据特征的提取，将纷繁多样的海量数据转换成具有价值的可用数据，提高了大规模数据的分析效率。

Description

应用于农业物联网的数据处理方法及装置
技术领域
本发明涉及农业物联网数据采集处理领域，具体涉及一种应用于农业物联网的数据处理方法及装置。
背景技术
农业物联网是物联网技术在农业生产、经营、管理和服务中的具体应用，其采用各类传感器、视觉采集终端等感知设备进行大田种植、设施园艺、畜禽养殖、水产养殖、农产品物流等领域的现场信息的采集，通过建立数据传输和格式转换方法实现农业信息多尺度的可靠传输；由于上述数据信息数据量较大，实时传输数据较多，因此，往往会出现数值冲突、数据冗余等情况，从而导致采集到的感测数据可靠性不高，同时系统的传输过程中由于各模块工作状态的问题又容易导致错误数据的出现，进一步降低了系统的可靠性。
发明内容
为解决上述问题，本发明提供了应用于农业物联网的数据处理方法及装置。
为实现上述目的，本发明采取的技术方案为：
应用于农业物联网的数据处理装置，包括：
目标数据采集模块，内设算法编辑模块，用于各种目标数据的采集，并将采集到的数据发送到数据整理模块；
数据整理模块，用于查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；
数据特征提取模块，采用MapReduce对整理完成后的数据进行特征数据的提取；
数据分析模块，采用神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；
数据定位模块，基于所述特征数据为整理完成后的数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；
监测模块，以静态jar包的形式部署在处理装置内，用于通过脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并基于录制的流程数据实现各模块工作状态的评估，将评估结果发送到中央处理器；
预警模块，用于根据中央处理器发送的控制命令输出对应的预警信息；
中央处理器，用于协调上述模块工作。
进一步地，所述神经网络模型采用PCA-BP神经网络模型。
进一步地，所述预警模块包括
语音预警模块，用于根据数据分析模块的评估结果或者监测模块的评估结果进行相应语音预警警示语的播放；
短信预警模块，用于通过短信编辑的方式进行预警短信的发送，所发送的短信至少包括目前对应的评估结果。
进一步地，还包括：
图形绘制模块，用于基于选中的曲线图模板根据整理完成后的数据生成各种曲线图。
进一步地，所述数据整理模块采用EKA算法和AKF算法处理冲突内容。
进一步地，所述冗余内容采用redundancy函数进行清除。
进一步地，所述监测模块基于BP神经网络模型实现工作状态的评估，且目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块各对应一个BP神经网络模型。
本发明还提供了一种应用于农业物联网的数据处理方法，基于上述系统实现，包括如下步骤：
S1、根据需要获取的目标数据，通过算法编辑模块在预设的算法数据库内调用对应的算法实现目标数据的采集，并将采集到的数据发送到数据整理模块；
S2、通过数据整理模块查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；
S3、采用MapReduce对整理完成后的数据进行特征数据的提取；
S4、采用神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；
S5、为整理完成后的在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。
进一步地，整个数据处理过程中，通过以静态jar包的形式部署在数据处理装置内的监测模块采用脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并完成各模块工作状态的评估，将评估结果发送到中央处理器。
进一步地，所述中央处理器基于数据分析模块和监测模块的评估结果输出对应的控制命令到预警模块进行预警。
本发明具有以下有益效果：
1）在实现目标数据定向采集的同时实现了冲突数据和亢余数据的自动清除，提高了数据源的可靠性。
2）基于MapReduce进行数据特征的提取，将纷繁多样的海量数据转换成具有价值的可用数据，提高了大规模数据的分析效率。
3）通过静态jar包的形式进行监测模块的布置，实现了目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作状态数据的留档，便于工作情况的追溯管理；同时实现了目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作状态的监测，进一步提高了系统的可靠性。
附图说明
图1为本发明实施例应用于农业物联网的数据处理装置的系统框图。
图2为本发明实施例应用于农业物联网的数据处理方法的流程图。
具体实施方式
为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1
如图1所示，本发明实施例提供了一种应用于农业物联网的数据处理装置，包括：
目标数据采集模块，内设算法编辑模块，用于各种目标数据的采集，并将采集到的数据发送到数据整理模块；
数据整理模块，用于查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；所述数据整理模块采用EKA算法和AKF算法处理冲突内容；所述冗余内容采用redundancy函数进行清除；具体的，在redundancy函数中，分别将k1和k2中的知识元素取出e1和e2，然将e1和e2中的X，Y以及关系R取出进行比较并分别对比xe1，xe2，ye1，ye2，将具有相同内容的元素项删除，并保留原有关系r值，将关系与未被删除项合并；
数据特征提取模块，采用MapReduce对整理完成后的数据进行特征数据的提取；
数据分析模块，采用PCA-BP神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；
数据定位模块，基于所述特征数据为整理完成后的数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；所述数据定位模块基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来准确定位数据；在定位数据时，在已知刻面的约束下选择相应的术语，以此来完成对所需数据的描述，如果选择成功，则返回相应的数据；如果选择不成功，则系统将根据同义词词典和概念距离图计算术语的相似性，形成新的定位信息；
监测模块，以静态jar包的形式部署在处理装置内，用于通过脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并基于录制的流程数据实现各模块工作状态的评估，将评估结果发送到中央处理器；
预警模块，用于根据中央处理器发送的控制命令输出对应的预警信息；
图形绘制模块，用于基于选中的曲线图模板根据整理完成后的数据生成各种曲线图；
中央处理器，用于协调上述模块工作。
本实施例中，所述预警模块包括
语音预警模块，用于根据数据分析模块的评估结果或者监测模块的评估结果进行相应语音预警警示语的播放；
短信预警模块，用于通过短信编辑的方式进行预警短信的发送，所发送的短信至少包括目前对应的评估结果。
本实施例中，所述监测模块基于BP神经网络模型实现工作状态的评估，且目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块各对应一个BP神经网络模型。
实施例2
如图2所示，本发明实施例提供了一种应用于农业物联网的数据处理方法，包括如下步骤：
S1、根据需要获取的目标数据，通过算法编辑模块在预设的算法数据库内调用对应的算法实现目标数据的采集，并将采集到的数据发送到数据整理模块；
S2、通过数据整理模块查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；
S3、采用MapReduce对整理完成后的数据进行特征数据的提取；
S4、采用PCA-BP神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；
S5、为整理完成后的在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系，具体的，基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来准确定位数据；在定位数据时，在已知刻面的约束下选择相应的术语，以此来完成对所需数据的描述，如果选择成功，则返回相应的数据；如果选择不成功，则系统将根据同义词词典和概念距离图计算术语的相似性，形成新的定位信息。
本实施例中，整个数据处理过程中，通过以静态jar包的形式部署在数据处理装置内的监测模块采用脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并完成各模块工作状态的评估，将评估结果发送到中央处理器。
本实施例中，所述数据整理模块采用EKA算法和AKF算法处理冲突内容；所述冗余内容采用redundancy函数进行清除；具体的，在redundancy函数中，分别将k1和k2中的知识元素取出e1和e2，然将e1和e2中的X，Y以及关系R取出进行比较并分别对比xe1，xe2，ye1，ye2，将具有相同内容的元素项删除，并保留原有关系r值，将关系与未被删除项合并。
本实施例中，所述中央处理器基于数据分析模块和监测模块的评估结果输出对应的控制命令到预警模块进行预警。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.应用于农业物联网的数据处理装置，其特征在于，包括：
目标数据采集模块，内设算法编辑模块，用于各种目标数据的采集，并将采集到的数据发送到数据整理模块；
数据整理模块，用于查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；
数据特征提取模块，采用MapReduce对整理完成后的数据进行特征数据的提取；
数据分析模块，采用神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；
数据定位模块，基于所述特征数据为整理完成后的数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；
监测模块，以静态jar包的形式部署在处理装置内，用于通过脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并基于录制的流程数据实现各模块工作状态的评估，将评估结果发送到中央处理器；
预警模块，用于根据中央处理器发送的控制命令输出对应的预警信息；
中央处理器，用于协调上述模块工作。
2.如权利要求1所述的应用于农业物联网的数据处理装置，其特征在于，所述神经网络模型采用PCA-BP神经网络模型。
3.如权利要求1所述的应用于农业物联网的数据处理装置，其特征在于，所述预警模块包括
语音预警模块，用于根据数据分析模块的评估结果或者监测模块的评估结果进行相应语音预警警示语的播放；
短信预警模块，用于通过短信编辑的方式进行预警短信的发送，所发送的短信至少包括目前对应的评估结果。
4.如权利要求1所述的应用于农业物联网的数据处理装置，其特征在于，还包括：
图形绘制模块，用于基于选中的曲线图模板根据整理完成后的数据生成各种曲线图。
5.如权利要求1所述的应用于农业物联网的数据处理装置，其特征在于，所述数据整理模块采用EKA算法和AKF算法处理冲突内容。
6.如权利要求1所述的应用于农业物联网的数据处理装置，其特征在于，所述冗余内容采用redundancy函数进行清除。
7.如权利要求1所述的应用于农业物联网的数据处理装置，其特征在于，所述监测模块基于BP神经网络模型实现工作状态的评估，且目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块各对应一个BP神经网络模型。
8.应用于农业物联网的数据处理方法，其特征在于，包括如下步骤：
S1、根据需要获取的目标数据，通过算法编辑模块在预设的算法数据库内调用对应的算法实现目标数据的采集，并将采集到的数据发送到数据整理模块；
S2、通过数据整理模块查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；
S3、采用MapReduce对整理完成后的数据进行特征数据的提取；
S4、采用神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；
S5、为整理完成后的在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。
9.如权利要求8所述的应用于农业物联网的数据处理方法，其特征在于：整个数据处理过程中，通过以静态jar包的形式部署在数据处理装置内的监测模块采用脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并完成各模块工作状态的评估，将评估结果发送到中央处理器。
10.如权利要求9所述的应用于农业物联网的数据处理方法，其特征在于：所述中央处理器基于数据分析模块和监测模块的评估结果输出对应的控制命令到预警模块进行预警。
CN201910432923.7A 2019-05-23 2019-05-23 应用于农业物联网的数据处理方法及装置 Pending CN110135817A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910432923.7A CN110135817A (zh) 2019-05-23 2019-05-23 应用于农业物联网的数据处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910432923.7A CN110135817A (zh) 2019-05-23 2019-05-23 应用于农业物联网的数据处理方法及装置

Publications (1)

Publication Number Publication Date
CN110135817A true CN110135817A (zh) 2019-08-16

Family

ID=67572529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910432923.7A Pending CN110135817A (zh) 2019-05-23 2019-05-23 应用于农业物联网的数据处理方法及装置

Country Status (1)

Country Link
CN (1) CN110135817A (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
CN108776700A (zh) * 2018-06-08 2018-11-09 新疆林科院森林生态研究所 一种基于物联网技术的森林生态站数据处理系统
CN109246088A (zh) * 2018-08-20 2019-01-18 田金荣 一种基于金融服务管理的大数据安保系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170006135A1 (en) * 2015-01-23 2017-01-05 C3, Inc. Systems, methods, and devices for an enterprise internet-of-things application development platform
CN108776700A (zh) * 2018-06-08 2018-11-09 新疆林科院森林生态研究所 一种基于物联网技术的森林生态站数据处理系统
CN109246088A (zh) * 2018-08-20 2019-01-18 田金荣 一种基于金融服务管理的大数据安保系统

Similar Documents

Publication Publication Date Title
Lehnert et al. Performance improvements of a sweet pepper harvesting robot in protected cropping environments
CN110135341A (zh) 杂草识别方法、装置及终端设备
CN108334033A (zh) 基于物联网与机器学习的冲床组故障预测方法及其系统
CN112819796A (zh) 烟丝异物识别方法及设备
CN116843107B (zh) 一种基于bim技术的建筑信息智能管理系统
CN114846998A (zh) 基于YOLOv4算法的双目机器人的番茄采摘方法及系统
CN108802547A (zh) 一种基于云存储的智能变电站继电保护装置自动测试系统和方法
Yoshida et al. A tomato recognition method for harvesting with robots using point clouds
WO2022097353A1 (ja) データセット生成装置、方法、プログラム及びシステム
Zheng et al. Fruit growing direction recognition and nesting grasping strategies for tomato harvesting robots
CN115294472A (zh) 果实产量估计方法、模型训练方法、设备及存储介质
CN116502810B (zh) 一种基于图像识别的标准化生产监测方法
CN117930831A (zh) 机器人巡检方法、装置、电子设备及存储介质
CN114550166B (zh) 一种面向智慧大棚的果实检测方法、装置及存储介质
Song et al. Study on the fusion of improved YOLOv8 and depth camera for bunch tomato stem picking point recognition and localization
CN110135817A (zh) 应用于农业物联网的数据处理方法及装置
CN119324842A (zh) 一种智能化温室大棚环境数据采集传输方法及系统
CN116204791B (zh) 车辆行为预测场景数据集的构建和管理方法及其系统
CN119669892A (zh) 无人车交互故障分析方法、装置、终端设备及存储介质
CN103439964B (zh) 一种ocsvm监控模型的在线更新系统及方法
CN112450807A (zh) 扫地机器人障碍物移除操控方法、装置及系统
US20170337644A1 (en) Data driven invocation of realtime wind market forecasting analytics
CN114511701A (zh) 温室果实识别方法及装置
CN118312903A (zh) 一种数据的协同智能分析方法及装置
CN119646706B (zh) 基于数据采集和知识滤波的离群点检测方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190816