[go: up one dir, main page]

CN109884033A - 随机森林算法结合激光诱导击穿光谱检测金属元素的方法 - Google Patents

随机森林算法结合激光诱导击穿光谱检测金属元素的方法 Download PDF

Info

Publication number
CN109884033A
CN109884033A CN201910274617.5A CN201910274617A CN109884033A CN 109884033 A CN109884033 A CN 109884033A CN 201910274617 A CN201910274617 A CN 201910274617A CN 109884033 A CN109884033 A CN 109884033A
Authority
CN
China
Prior art keywords
random forests
forests algorithm
induced breakdown
oily sludge
laser induced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910274617.5A
Other languages
English (en)
Inventor
李华
王甜
贺瑶
李茂刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Shiyou University
Original Assignee
Xian Shiyou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Shiyou University filed Critical Xian Shiyou University
Priority to CN201910274617.5A priority Critical patent/CN109884033A/zh
Publication of CN109884033A publication Critical patent/CN109884033A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明提供了一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,该方法为用激光诱导击穿光谱仪器在含油污泥样品不同测量位点光谱数据采集,分为校正集和测试集,选取最优的小波滤噪方法对校正集和测试集光谱数据小波滤噪,再变量重要性提取,寻找预测结果最优的阈值,建立随机森林算法校正集模型,用OOB误差验证准确性,预测经处理后的测试集的含油污泥样本中的金属含量。本发明将随机森林算法结合激光诱导击穿光谱定量测定含油污泥样品中尤其是有毒金属铜、锌、铬和镍的方法,随机森林算法能克服基体效应的干扰,小波滤噪处理校正集和测试集的光谱数据克服信号中噪声和提高预测准确度,变量重要性提取能提高预测准确率,缩短建模时间。

Description

随机森林算法结合激光诱导击穿光谱检测金属元素的方法
技术领域
本发明属于光谱分析技术领域,具体涉及一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法。
背景技术
在石油的开采、再加工和运输过程中往往会发生漏油、回收利用不完全等问题,会造成土壤、水资源和空气污染,特别是土壤污染。随着石油工业的发展,在原油的生产、运输、储存和炼制过程中都会产生大量的含油污泥。它是石油工业产生的固体废物之一,是各种多环芳烃(PHCs)、水、有毒金属和固体颗粒物等物质的混合物。根据中国环境标准(GB5085.7-2007)规定,含油污泥属于危险固体废物。如果含油污泥在排放前没有达到国家规定的排放标准,含油污泥中的有毒金属会通过食物链逐渐富集起来,然后通过食物存储在人体器官中,造成慢性中毒,危害人体健康。所以,快速分析含油污泥中有毒金属的浓度对含油污泥的处理、迁移、改善、监测和修复都具有重要意义。
激光诱导击穿光谱(laser-induced breakdown spectroscopy,LIBS)是20世纪发展起来的一种新兴的原子发射分析光谱技术,具有分析快捷、多元素同时分析以及无需样品预处理等优势,因此,LIBS技术被认为是最有前途的分析手段之一。近年来,LIBS技术广泛应用于环境污染、过程分析、科技考古、太空探测等领域,尤其在冶金领域具有很大的应用潜力。因此被著名的光谱分析学家J.Winfordner誉为“未来的一颗巨星”。
激光诱导击穿光谱的定量分析方法主要指校准方法和无校准(CF)方法。曲线校准法是最简单、应用最广泛的校准方法之一,它构建了元素分析线的积分强度或强度比(分析线与参考线)与一组校准样本已知浓度之间的关系。但是,标定曲线始终是单变量的,其回归模型是利用单个特征线的强度和被测元素的相应浓度建立的,其分析结果易受激光能量波动、样品不均匀性和复杂基体效应的影响。由于含油污泥是一个复杂的基体,在测量的过程中样品的化学成分测量结果容易受到多种基体效应的影响,而常规的单变量校准模型无法消除这些干扰因素的影响。多元校正分析方法是消除复杂样本矩阵效应的有效工具。目前,定量分析的多元校正算法包括:主成分分析(PCA)、人工神经网络(ANN)、支持向量机(SVM)、和极限学习机等。随机森林算法(Random Forest,简称RF)是一种重要的基于Bagging的集成学习方法,可以用来做分类、回归等问题,在LIBS的定量分析中得到了成功的应用。在机器学习中,RF是一种统计学习理论,提取重复采样方法进行回归分析。在光谱定性和定量中RF算法得到了一定应用。
发明内容
本发明所要解决的技术问题在于针对上述现有技术的不足,提供一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,该方法将随机森林算法结合激光诱导击穿光谱定量测定含油污泥样品中金属,尤其是有毒金属铜、锌、铬和镍的方法,随机森林算法能够克服基体效应等因素的干扰,通过小波滤噪处理校正集和测试集的光谱数据,能够很好的克服信号中的噪声,有效提高预测准确度,进一步进行变量重要性提取后不仅可以提高预测准确率,还大大的缩短了建模所需的时间,具有较强的泛化能力。
为解决上述技术问题,本发明采用的技术方案是:一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,包括以下步骤:
步骤一、利用激光诱导击穿光谱仪器分别在若干个不同的含油污泥样品的不同测量位点进行光谱数据采集;
步骤二、从步骤一中的若干个不同的含油污泥样品分为校正集和测试集;校正集与测试集的含油污泥样品的光谱数据数量比为2.5:1;
步骤三、用28种不同的小波滤噪方法处理步骤二中校正集和测试集的光谱数据,选取最优的小波滤噪方法对校正集和测试集的光谱数据进行小波滤噪后,再进行变量重要性提取,寻找预测结果最优的阈值,建立随机森林算法校正集模型;
步骤四、用OOB误差验证步骤三中建立的随机森林算法校正集模型的准确性;
步骤五、利用建立的随机森林算法校正集模型预测经处理后的测试集的含油污泥样本中的金属含量。
优选地,步骤一中所述激光诱导击穿光谱仪器的激光能量为150mJ,基频光波长为1064nm,脉宽为10ns,延迟时间为8μs,重复频率为5Hz,光谱范围为220nm~500nm。
优选地,步骤一中所述含油污泥样品的数量不低于16个。
优选地,步骤二中所述若干个不同的含油污泥样品的每个含油污泥样品均随机挑选50个测量点,每个测量点经5次连续激光脉冲打击后得到1个光谱数据。
优选地,步骤三中所述小波滤噪方法中小波基函数为db1、db2、db3和db4,分解层数均为1~7。
优选地,步骤三中所述随机森林算法校正集模型以相关系数和均方根误差作为评价参数。
优选地,步骤五中所述金属为有毒金属铜、锌、铬和镍中的一种或一种以上。
优选地,步骤五中处理后的测试集的含油污泥样本的光谱数据为步骤三中经过小波滤噪和变量重要性提取后的测试集光谱数据。
本发明与现有技术相比具有以下优点:
本发明将随机森林算法结合激光诱导击穿光谱定量测定含油污泥样品中金属,尤其是有毒金属铜、锌、铬和镍的方法,随机森林算法能够克服基体效应等因素的干扰,通过小波滤噪处理校正集和测试集的光谱数据,能够很好的克服信号中的噪声,有效提高预测准确度,进一步进行变量重要性提取后不仅可以提高预测准确率,还大大的缩短了建模所需的时间,具有较强的泛化能力。
下面结合实施例对本发明作进一步详细说明。
具体实施方式
实施例1
本实施例的随机森林算法结合激光诱导击穿光谱检测金属元素的方法,包括以下步骤:
步骤一、利用激光诱导击穿光谱仪器分别在若干个不同的含油污泥样品的不同测量位点进行光谱数据采集;所述激光诱导击穿光谱仪器的激光能量为150mJ,基频光波长为1064nm,脉宽为10ns,延迟时间为8μs,重复频率为5Hz,光谱范围为220nm~500nm;
步骤二、从步骤一中的16个不同的含油污泥样品分为校正集和测试集;校正集与测试集的含油污泥样品的光谱数据数量比为2.5:1;所述16个不同的含油污泥样品的每个含油污泥样品均随机挑选50个测量点,每个测量点经5次连续激光脉冲打击后得到1个光谱数据;
步骤三、用28种不同的小波滤噪方法处理步骤二中校正集和测试集的光谱数据,选取最优的小波滤噪方法对校正集和测试集的光谱数据进行小波滤噪后,再进行变量重要性提取,寻找预测结果最优的阈值,分别以阈值0、0.01、0.02和0.03为输入变量处理激光诱导击穿光谱,建立随机森林算法校正集模型;所述小波滤噪方法中小波基函数为db1、db2、db3和db4,分解层数均为1~7;所述随机森林算法校正集模型以相关系数和均方根误差作为评价参数;
步骤四、用OOB误差验证步骤三中建立的随机森林算法校正集模型的准确性;
步骤五、利用建立的随机森林算法校正集模型预测经处理后的测试集的含油污泥样本中的金属含量;处理后的测试集的含油污泥样本的光谱数据为步骤三中经过小波滤噪和变量重要性提取后的测试集光谱数据;所述金属为有毒金属铜、锌、铬和镍中的一种或一种以上。
对比例1
本对比例的随机森林算法结合激光诱导击穿光谱检测金属元素的方法,包括以下步骤:
步骤一~步骤二、同实施例1;
步骤三、用步骤二中校正集建立随机森林算法校正集模型;
步骤四、利用建立的随机森林算法校正集模型预测步骤二中的测试集的含油污泥样本中的金属含量;所述金属为有毒金属铜、锌、铬和镍中的一种或一种以上。
表1光谱处理前后预测结果对比对测试集样品中铜、锌、铬和镍的预测结果
对比激光诱导击穿光谱未做预处理(对比例1)与经过小波滤噪和变量重要性提取结合随机森林算法的预测结果(实施例1),预测结果的相关性得到明显的提升,均方根误差也有所降低。因此,随机森林算法、小波滤噪以及变量重要性结合激光诱导击穿光谱技术可以用于含油污泥中金属尤其是有毒金属铜、锌、铬和镍的检测。
以上所述,仅是本发明的较佳实施例,并非对本发明作任何限制。凡是根据发明技术实质对以上实施例所作的任何简单修改、变更以及等效变化,均仍属于本发明技术方案的保护范围内。

Claims (8)

1.一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,包括以下步骤:
步骤一、利用激光诱导击穿光谱仪器分别在若干个不同的含油污泥样品的不同测量位点进行光谱数据采集;
步骤二、从步骤一中的若干个不同的含油污泥样品分为校正集和测试集;校正集与测试集的含油污泥样品的光谱数据数量比为2.5:1;
步骤三、用28种不同的小波滤噪方法处理步骤二中校正集和测试集的光谱数据,选取最优的小波滤噪方法对校正集和测试集的光谱数据进行小波滤噪后,再进行变量重要性提取,寻找预测结果最优的阈值,建立随机森林算法校正集模型;
步骤四、用OOB误差验证步骤三中建立的随机森林算法校正集模型的准确性;
步骤五、利用建立的随机森林算法校正集模型预测经处理后的测试集的含油污泥样本中的金属含量。
2.根据权利要求1所述的一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,步骤一中所述激光诱导击穿光谱仪器的激光能量为150mJ,基频光波长为1064nm,脉宽为10ns,延迟时间为8μs,重复频率为5Hz,光谱范围为220nm~500nm。
3.根据权利要求1所述的一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,步骤一中所述含油污泥样品的数量不低于16个。
4.根据权利要求1所述的一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,步骤二中所述若干个不同的含油污泥样品的每个含油污泥样品均随机挑选50个测量点,每个测量点经5次连续激光脉冲打击后得到1个光谱数据。
5.根据权利要求1所述的一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,步骤三中所述小波滤噪方法中小波基函数为db1、db2、db3和db4,分解层数均为1~7。
6.根据权利要求1所述的一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,步骤三中所述随机森林算法校正集模型以相关系数和均方根误差作为评价参数。
7.根据权利要求1所述的一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,步骤五中所述金属为有毒金属铜、锌、铬和镍中的一种或一种以上。
8.根据权利要求1所述的一种随机森林算法结合激光诱导击穿光谱检测金属元素的方法,其特征在于,步骤五中处理后的测试集的含油污泥样本的光谱数据为步骤三中经过小波滤噪和变量重要性提取后的测试集光谱数据。
CN201910274617.5A 2019-04-08 2019-04-08 随机森林算法结合激光诱导击穿光谱检测金属元素的方法 Pending CN109884033A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910274617.5A CN109884033A (zh) 2019-04-08 2019-04-08 随机森林算法结合激光诱导击穿光谱检测金属元素的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910274617.5A CN109884033A (zh) 2019-04-08 2019-04-08 随机森林算法结合激光诱导击穿光谱检测金属元素的方法

Publications (1)

Publication Number Publication Date
CN109884033A true CN109884033A (zh) 2019-06-14

Family

ID=66936354

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910274617.5A Pending CN109884033A (zh) 2019-04-08 2019-04-08 随机森林算法结合激光诱导击穿光谱检测金属元素的方法

Country Status (1)

Country Link
CN (1) CN109884033A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595834A (zh) * 2020-05-27 2020-08-28 浙江大学 一种桑叶中重金属元素铜的快速定量检测模型的构建方法
CN113295635A (zh) * 2021-05-27 2021-08-24 河北先河环保科技股份有限公司 一种基于动态更新数据集的水质污染报警方法
CN116223480A (zh) * 2022-12-29 2023-06-06 南京工业大学 煤化工污泥重金属含量检测方法及系统
CN116256303A (zh) * 2023-02-24 2023-06-13 西北大学 基于纳米银信号增强的微米级单颗粒定量分析方法及系统
CN117949436A (zh) * 2024-03-26 2024-04-30 宝鸡核力材料科技有限公司 应用于钛合金熔炼下的金属元素成分检测方法及系统
CN119555615A (zh) * 2025-01-22 2025-03-04 陕西煤基特种燃料研究院有限公司 一种碳纤维金属元素测量方法、设备、存储介质及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102519918A (zh) * 2011-12-08 2012-06-27 大连理工大学 一种基于激光诱导击穿光谱技术的地沟油快速检测的方法
CN104697964A (zh) * 2015-03-10 2015-06-10 西北大学 一种随机森林算法结合激光诱导击穿光谱定量分析钢铁中硫磷的方法
CN107063832A (zh) * 2017-05-23 2017-08-18 安徽中科中涣防务装备技术有限公司 一种用于电镀污泥中重金属浓度的在线监测方法
CN109142251A (zh) * 2018-09-17 2019-01-04 平顶山学院 随机森林辅助人工神经网络的libs定量分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102519918A (zh) * 2011-12-08 2012-06-27 大连理工大学 一种基于激光诱导击穿光谱技术的地沟油快速检测的方法
CN104697964A (zh) * 2015-03-10 2015-06-10 西北大学 一种随机森林算法结合激光诱导击穿光谱定量分析钢铁中硫磷的方法
CN107063832A (zh) * 2017-05-23 2017-08-18 安徽中科中涣防务装备技术有限公司 一种用于电镀污泥中重金属浓度的在线监测方法
CN109142251A (zh) * 2018-09-17 2019-01-04 平顶山学院 随机森林辅助人工神经网络的libs定量分析方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUSSAIN, T ET AL.: "Monitoring and assessment of toxic metals in Gulf War oil spill contaminated soil using laser-induced breakdown spectroscopy", 《ENVIRONMENTAL MONITORING AND ASSESSMENT》 *
吴珊: "激光诱导击穿光谱技术结合化学计量学对钢铁定量分析方法的研究", 《中国优秀硕士学位论文全文数据库工程科技Ⅰ辑》 *
林冬秀: "基于激光诱导击穿光谱技术的泥蚶重金属污染信息的快速检测", 《中国优秀硕士学位论文全文数据库 工程科技Ⅰ辑》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111595834A (zh) * 2020-05-27 2020-08-28 浙江大学 一种桑叶中重金属元素铜的快速定量检测模型的构建方法
CN111595834B (zh) * 2020-05-27 2021-05-04 浙江大学 一种桑叶中重金属元素铜的快速定量检测模型的构建方法
CN113295635A (zh) * 2021-05-27 2021-08-24 河北先河环保科技股份有限公司 一种基于动态更新数据集的水质污染报警方法
CN116223480A (zh) * 2022-12-29 2023-06-06 南京工业大学 煤化工污泥重金属含量检测方法及系统
CN116223480B (zh) * 2022-12-29 2023-12-19 南京工业大学 煤化工污泥重金属含量检测方法及系统
CN116256303A (zh) * 2023-02-24 2023-06-13 西北大学 基于纳米银信号增强的微米级单颗粒定量分析方法及系统
CN117949436A (zh) * 2024-03-26 2024-04-30 宝鸡核力材料科技有限公司 应用于钛合金熔炼下的金属元素成分检测方法及系统
CN117949436B (zh) * 2024-03-26 2024-06-25 宝鸡核力材料科技有限公司 应用于钛合金熔炼下的金属元素成分检测方法及系统
CN119555615A (zh) * 2025-01-22 2025-03-04 陕西煤基特种燃料研究院有限公司 一种碳纤维金属元素测量方法、设备、存储介质及系统

Similar Documents

Publication Publication Date Title
CN109884033A (zh) 随机森林算法结合激光诱导击穿光谱检测金属元素的方法
US11650348B2 (en) Model based discriminant analysis
Boehme et al. Examining CDOM fluorescence variability using principal component analysis: seasonal and regional modeling of three-dimensional fluorescence in the Gulf of Mexico
Cai et al. Rapid identification of ore minerals using multi-scale dilated convolutional attention network associated with portable Raman spectroscopy
CN101915744A (zh) 物质成分含量的近红外光谱无损检测方法及装置
Tan et al. Feasibility of laser-induced breakdown spectroscopy (LIBS) for classification of sea salts
Han et al. On-line multi-component analysis of gases for mud logging industry using data driven Raman spectroscopy
CN105388123A (zh) 一种由近红外光谱预测原油性质的方法
Wang et al. Oil species identification technique developed by Gabor wavelet analysis and support vector machine based on concentration-synchronous-matrix-fluorescence spectroscopy
CN105044025A (zh) 一种近红外快速识别芝麻油及芝麻油中掺杂大豆油的方法
Zhang et al. On retrieving the chromium and zinc concentrations in the arable soil by the hyperspectral reflectance based on the deep forest
Wang et al. Simultaneous quantitative analysis of four metal elements in oily sludge by laser induced breakdown spectroscopy coupled with wavelet transform-random forest (WT-RF)
CN103389294B (zh) 基于褶合曲线筛选法的假药判别分析装置和方法
CN106383103A (zh) 一种基于主成分分析的时间分辨油荧光鉴别方法
CN105044054A (zh) 一种基于盲源分离的海洋溢油精细化遥测方法
Huang et al. Improved neural networks for the classification of microplastics via inferior quality Raman spectra
CN102854151B (zh) 一种光谱分析中样品集划分的化学计量学方法
Villar et al. Sulfites detection by surface-enhanced Raman spectroscopy: A feasibility study
CN105069462A (zh) 基于光谱特征细分和分类器级联的有机化学品定性判定方法
CN109696425A (zh) 一种基于激光诱导击穿光谱的岩屑类型识别方法及系统
CN114280000B (zh) 一种原油产地的溯源方法和系统
Qin et al. Spectral non-destructive inspection of pigments via multivariate analysis
CN107389645B (zh) 离散小波变换解析油品荧光特性的Fisher模型鉴别海上溢油的方法
CN116399836A (zh) 基于交替梯度下降算法的串扰荧光光谱分解方法
Gu et al. Enhancing wheat flour origin traceability by using laser-induced breakdown spectroscopy and Raman spectroscopy

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190614

RJ01 Rejection of invention patent application after publication