基于知识图谱和机器学习的污染源普查数据审核
这是一篇关于污染源普查,数据质量,知识图谱,孤立森林,自组织映射神经网络的论文, 主要内容为2017年12月31日起我国开展第二次全国污染源普查。普查数据作为制定环保政策与编制环保规划的依据,数据质量至关重要。十年前,第一次污染源普查受到技术发展的限制,数据审核不到位,数据质量存疑,造成普查成果应用不足与大量人力物力被浪费的问题。将大数据分析技术应用到污染源普查数据审核中,能够解决技术限制的问题,缩小入户核实范围,高效准确地指出数据质量存疑企业与指标。本文根据普查过程实际需求,首先选择示例行业,并利用示例行业的数据,基于知识图谱与社会网络分析法建立逻辑关系审核方法模型,用于审核文字型数据(原料、工艺等)不符合实际生产工况关系问题;基于孤立森林算法(iForest)、自组织映射神经网络算法(SOM)建立数值型数据审核方法模型,用于审核数值型数据(产污、排污量等)不准确问题。通过相邻节点距离可视化与现场核实反馈结果找到算法最佳阈值,优化模型。通过准确率、精确率、召回率、F1值(精确率与召回率的调和平均值)的计算对模型进行评价。最终应用到污染源普查数据审核中,审核过程包括数据清洗、标准数据集建立、逻辑关系审核与数值异常审核、现场核实、反馈结果。结果表明,逻辑关系审核方法模型在数据清洗阶段与社会网络分析阶段的阈值分别选择0.5%与70%时,不会遗漏重点考察指标且能保证审核结果达到最优。对近8000家企业进行初次审核与二次复核,分别找到1539家与386家企业数据存在问题,现场复核范围缩小了 80.74%与95.16%。数值型数据审核方法模型的阈值选择0.26时,审核结果达到最优,准确率、精确率、召回率、F1值分别可达:94.00%、95.95%、95.95%、0.9595。对14000余家企业进行审核,找到1095家企业数据存在问题,现场复核范围缩小了 81.92%。本文建立的数据审核模型在污染源普查数据审核过程中缩小了入户核实范围,使复核过程目标性更强,节省了时间、人力物力;准确指出存疑企业与指标,错误数据及时更改,数据质量得到提升。同时,也为环境统计领域数据质量的提升提供了新思路。
基于物联网平台的车辆监管系统的设计与实现
这是一篇关于物联网,GPS漂移,异常检测,孤立森林,Redis的论文, 主要内容为特种设备是指涉及人民群众生命安全、危险程度较高的设备,如锅炉、电梯、场(厂)内专用机动车辆等。近年来,随着中国经济的飞速发展,特种设备的数量持续增多。从我国目前特种设备管理现状来看,存在设备未登记或未进行安全监管的问题,临界报废的设备依然运行。对于特种设备车辆,由于其移动性较大,且位置分散,车辆行驶状态及设备状态等重要信息无法及时获取并集中管理,影响了行车安全。其次,由于车辆GPS信号是电磁波,容易受到外界环境因素的影响而产生位置漂移等异常问题,在降低数据精度的同时也极大影响了车辆监管的可靠性。市面上传统的车辆监管系统,服务器一般为开发人员自行租赁开发,对系统的定期维护造成了人力、物力资源的严重浪费。随着未来车辆监管业务的扩展带来的多用户高并发负载,系统容易出现的瓶颈问题也将导致更多的经济损失。针对以上需求,本文基于开源物联网平台,设计并实现一个高性能的集特种设备使用登记及综合多需求的车辆监管系统。该系统既能够对不同状态下的特种设备实现远程集中登记管理,又能够实现对特种设备车辆及道路机动车辆的监管。在保障人身和车辆安全的同时,使得监管工作更加智能化,极大提高了企业管理效率。本文首先基于研究背景进行了深入的功能性与非功能性需求分析,设计了平台的组织结构;随后,基于Site Where开源物联网平台,采用Spring、SpringBoot、MongoDB、Vue.js、第三方LBS服务等技术方法实现系统的各个功能模块;对于GPS数据的异常问题,本文引入了机器学习中的一种无监督学习方法——孤立森林算法,对异常数据进行检测;同时,采用真实车辆的原始GPS数据集,通过与局部异常因子算法的对比实验,验证了孤立森林算法具有良好的异常检测效果;本文还采用Redis缓存对车辆监管系统进行性能优化,解决了多用户高并发环境下主数据库的访问压力;最后,通过功能测试和压力测试分别验证了系统的可用性与稳定性。
基于知识图谱和机器学习的污染源普查数据审核
这是一篇关于污染源普查,数据质量,知识图谱,孤立森林,自组织映射神经网络的论文, 主要内容为2017年12月31日起我国开展第二次全国污染源普查。普查数据作为制定环保政策与编制环保规划的依据,数据质量至关重要。十年前,第一次污染源普查受到技术发展的限制,数据审核不到位,数据质量存疑,造成普查成果应用不足与大量人力物力被浪费的问题。将大数据分析技术应用到污染源普查数据审核中,能够解决技术限制的问题,缩小入户核实范围,高效准确地指出数据质量存疑企业与指标。本文根据普查过程实际需求,首先选择示例行业,并利用示例行业的数据,基于知识图谱与社会网络分析法建立逻辑关系审核方法模型,用于审核文字型数据(原料、工艺等)不符合实际生产工况关系问题;基于孤立森林算法(iForest)、自组织映射神经网络算法(SOM)建立数值型数据审核方法模型,用于审核数值型数据(产污、排污量等)不准确问题。通过相邻节点距离可视化与现场核实反馈结果找到算法最佳阈值,优化模型。通过准确率、精确率、召回率、F1值(精确率与召回率的调和平均值)的计算对模型进行评价。最终应用到污染源普查数据审核中,审核过程包括数据清洗、标准数据集建立、逻辑关系审核与数值异常审核、现场核实、反馈结果。结果表明,逻辑关系审核方法模型在数据清洗阶段与社会网络分析阶段的阈值分别选择0.5%与70%时,不会遗漏重点考察指标且能保证审核结果达到最优。对近8000家企业进行初次审核与二次复核,分别找到1539家与386家企业数据存在问题,现场复核范围缩小了 80.74%与95.16%。数值型数据审核方法模型的阈值选择0.26时,审核结果达到最优,准确率、精确率、召回率、F1值分别可达:94.00%、95.95%、95.95%、0.9595。对14000余家企业进行审核,找到1095家企业数据存在问题,现场复核范围缩小了 81.92%。本文建立的数据审核模型在污染源普查数据审核过程中缩小了入户核实范围,使复核过程目标性更强,节省了时间、人力物力;准确指出存疑企业与指标,错误数据及时更改,数据质量得到提升。同时,也为环境统计领域数据质量的提升提供了新思路。
推荐系统中的攻击检测研究
这是一篇关于推荐系统,托攻击检测,用户概貌特征,孤立森林,标签传播的论文, 主要内容为随着互联网技术的普及与发展,信息的数量以及传播速度都处于爆炸式增长,而推荐系统技术的出现有效地缓解了信息过载问题带来的消极影响。基于协同过滤的推荐算法通过分析用户历史行为数据,挖掘出用户的偏好,从而协助用户发现那些他们未来可能会产生兴趣的信息,并将其主动的推送给用户。然而,由于协同过滤算法对用户信息的依赖性,使得推荐系统面临一些安全性问题。比如:一些恶意攻击者人为地将虚假用户信息注入到推荐系统中,试图干涉推荐结果以谋求利益,这种行为被称为“托攻击”。托攻击严重影响了推荐系统的正常运行,也危害了正常用户的利益。因此,如何应对推荐系统中的托攻击成为了推荐系统研究领域的热点之一。本文对推荐系统中的托攻击检测问题进行研究,旨在实现两个目标:一是有效的检测出推荐系统中的托攻击,二是提升托攻击检测的效率。本文首先分析了协同过滤推荐系统的工作原理、托攻击及攻击模型的特点。然后,本文从托攻击用户与正常用户的评分行为差异性入手,提取用户概貌特征用于托攻击检测。本文在用户概貌特征的有效性问题中,提出了一种基于信息增益的用户概貌特征选择方法Gain-User,并使用该方法得到的特征子集有效地提升了检测算法的准确率。接着本文提出了一种基于孤立森林的托攻击检测方法IFDM,与SVM、C4.5等方法相比,该算法在检测效率方面优势明显且保持了不错的检测准确率。本文对孤立森林模型中的参数进行分析,采用了一种基于粒子群算法的参数寻优方法PSO-IForest,得到孤立森林算法的优化参数。对于孤立森林在隔离树的生成过程中,由于分裂特征随机性选择产生的检测效果下降的问题,本文对分裂特征进行加权选择,偏向于选择更重要的特征,从而提升孤立森林算法的准确性和稳定性。然后针对托攻击具有群体性的特点,本文提出一种基于标签传播的托攻击检测模型LPDM。针对用户的评分行为和用户间的相似性,定义了标签传播的权重和迭代规则。该方法可以将评分行为相似的用户群体聚集到同一个标签类别下,这能有效的发现那些具有群体性特点的托攻击用户。
基于物联网平台的车辆监管系统的设计与实现
这是一篇关于物联网,GPS漂移,异常检测,孤立森林,Redis的论文, 主要内容为特种设备是指涉及人民群众生命安全、危险程度较高的设备,如锅炉、电梯、场(厂)内专用机动车辆等。近年来,随着中国经济的飞速发展,特种设备的数量持续增多。从我国目前特种设备管理现状来看,存在设备未登记或未进行安全监管的问题,临界报废的设备依然运行。对于特种设备车辆,由于其移动性较大,且位置分散,车辆行驶状态及设备状态等重要信息无法及时获取并集中管理,影响了行车安全。其次,由于车辆GPS信号是电磁波,容易受到外界环境因素的影响而产生位置漂移等异常问题,在降低数据精度的同时也极大影响了车辆监管的可靠性。市面上传统的车辆监管系统,服务器一般为开发人员自行租赁开发,对系统的定期维护造成了人力、物力资源的严重浪费。随着未来车辆监管业务的扩展带来的多用户高并发负载,系统容易出现的瓶颈问题也将导致更多的经济损失。针对以上需求,本文基于开源物联网平台,设计并实现一个高性能的集特种设备使用登记及综合多需求的车辆监管系统。该系统既能够对不同状态下的特种设备实现远程集中登记管理,又能够实现对特种设备车辆及道路机动车辆的监管。在保障人身和车辆安全的同时,使得监管工作更加智能化,极大提高了企业管理效率。本文首先基于研究背景进行了深入的功能性与非功能性需求分析,设计了平台的组织结构;随后,基于Site Where开源物联网平台,采用Spring、SpringBoot、MongoDB、Vue.js、第三方LBS服务等技术方法实现系统的各个功能模块;对于GPS数据的异常问题,本文引入了机器学习中的一种无监督学习方法——孤立森林算法,对异常数据进行检测;同时,采用真实车辆的原始GPS数据集,通过与局部异常因子算法的对比实验,验证了孤立森林算法具有良好的异常检测效果;本文还采用Redis缓存对车辆监管系统进行性能优化,解决了多用户高并发环境下主数据库的访问压力;最后,通过功能测试和压力测试分别验证了系统的可用性与稳定性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码小屋 ，原文地址：https://m.bishedaima.com/lunwen/46534.html
