基于集成学习的微服务异常检测系统的设计与实现

这是一篇关于微服务指标,时序数据,异常检测,无监督集成学习,随机森林的论文, 主要内容为随着微服务的发展和机器学习在各个领域的广泛应用,智能化的微服务指标异常检测成为工业界新的研究热点。传统基于静态阈值的异常检测规则人工配置成本高,并且当业务场景发生变化时,阈值也要对应变化,已经不能很好满足复杂场景下的微服务异常检测的需求。当前的异常检测算法大多是无监督学习,其检测效果不佳。若使用有监督学习,虽然异常检测效果好,但是获取标签数据的成本太高。本文为降低配置微服务异常检测规则的成本,结合实际需求,设计并实现了一个基于集成学习的微服务异常检测系统。本文主要工作如下:(1)设计了一种低耦合度的异常检测系统架构。在技术实现上采用微服务架构的设计模式,实现前后端分离、后端组件化和多实例部署,保证了系统的可扩展性和可用性。使用任务机制将后端分为三个组件:API Server、Scheduler和Processor,分别负责任务管理、任务调度和训练检测,降低了组件之间的耦合度。(2)提出了一种无监督集成学习和有监督集成学习相结合的异常检测方案。集成i Forest、OCSVM和LOF三种无监督学习,对原始的时序数据生成冷启动标签。冷启动完毕后,使用随机森林算法对有标签的时序数据进行训练,得到异常检测模型。实验结果表明,无监督学习在集成优化后生成的标签质量相较于集成前有显著提升,并且随着用户不断对异常检测结果进行反馈,模型检测效果会越来越好。(3)实现了一个实用的微服务异常检测系统。按功能划分为两个模块:训练检测模块和任务管理与调度模块。训练检测模块的功能包括时序数据预处理、生成冷启动标签、训练检测模型和执行异常检测,由Processor负责实现。任务管理与调度模块的功能包括任务管理、任务调度和任务反馈,由API Server和Scheduler负责实现。实现了简洁的前端页面,提供了任务管理和反馈的入口。对系统的功能需求和非功能需求进行了测试,并对异常检测结果进行了分析,验证了该系统的有效性和实用性。

基于HBase的煤矿微震时序大数据存储与管理系统的研究与实现

这是一篇关于微震监测,时序数据,分布式存储,随机森林分类的论文, 主要内容为随着我国工业化的不断发展,对煤矿资源的开采强度相对较高,由此引发的煤矿微震事件频率也逐年增多,对煤矿产业工人的人身安全造成了危害。针对煤矿微震事件的监测与分析问题,国内外已进行了大量研究。然而,在现有系统下,对于煤矿微震时序大数据的存储和微震事件数据管理方面仍存在一些待解决的问题,需要进一步深入研究和探索。目前,通过在煤矿开采矿区广泛部署微震监测传感器是一种常见的监测方法。然而,这种方法的广泛应用也引发了一些问题。首先,大规模部署的监测传感器产生的大量微震时序波形数据无法被高效存储与管理。其次,当前对于微震事件分类仍然采用专家人工研判的方式,这种方式尽管一定程度上保证了事件分类的准确性,但效率偏低。本文研究并实现了基于HBase的煤矿微震时序大数据存储与管理系统,该系统具有六个核心模块,包括登录模块、波形数据存储模块、微震事件计算模块、微震事件分类模块、微震事件查询模块以及台站工况模块。其中,登录模块通过用户、角色、权限三者之间的关联,实现了用户身份校验以及用户权限控制。波形数据存储模块主要包括构建索引文件、多线程并发对齐与读取以及存储优化模块,为了进一步提高微震波形时序大数据的存储效率,在此模块中提出了基于HBase与Netty的煤矿微震时序大数据存储框架,该存储框架包含根据微震波形时序数据特征设计的适用于微震波形时序数据的HBase数据表结构、预分区策略以及主键优化策略,在存储子模块中的高并发处理层增加了基于Netty与Redis的数据转发中间件并进行分布式部署,为存储过程提供异步处理能力以及合理的资源调配。该存储优化框架较好地解决了高并发存储问题,有效提高了微震波形数据的存储效率。煤矿微震时序数据计算模块包括微震波判识计算、微震到时定位计算、微震事件震级计算以及微震事件能量计算,该模块为后续微震事件分类与微震事件查询模块提供数据支持。微震事件查询模块采用多维查询条件实现了对煤矿微震事件的精准查询,其中包括根据破坏类型查询、能量范围查询、事件类型查询、破坏程度查询、时间范围查询等多维度查询限定条件。微震事件分类模块包括数据预处理子模块和微震事件自动分类子模块,其中数据预处理部分对微震震级、微震能量以及微震发生位置三个变量数值进行补充与整理。微震事件自动分类子模块实现了基于随机森林算法的微震事件分类器,并在训练过程中对关键参数进行调优。通过实验验证了微震事件分类的准确率为84.39%,可以有效地为煤矿微震事件的安全管理提供技术支持。台站工况模块包括台站工况监测功能和查询台站工况信息功能。台站工况监测功能:系统设置定时任务定期监测台站工况信息。查询台站工况信息功能:用户可根据查询约束条件查询符合条件的台站工况信息,并将结果以ECharts仪表组件和表格的形式为用户显示。本系统采用B/S前后端分离架构设计。其中,底层存储媒介采用HBase分布式数据库为系统整体提供原始数据支撑,微震事件计算结果存储在关系型数据库My SQL中,Web后端由基于Java语言的Spring Boot框架搭建,算法部分基于Python语言编写,前端部分采用ECharts与Boot Strap框架,所有数据服务及数据库均部署在云服务器上提供在线服务。

智慧云车间系统的设计与实现

这是一篇关于数据采集,时序数据,InfluxDB,HDFS,Kafka的论文, 主要内容为随着科技发展和工业制造业企业的转型升级,许多传统企业在生产数据的采集上的弊端不断显现出来,许多生产数据都是通过人工抄表的方式记录,数据准确性及实时性都无法保证;企业中的其他不同设备也常通过不同的系统进行控制,往往不同系统间的数据无法进行关联。而恰逢制造业升级转型时机,为了使企业转型升级和投入产出效率提升,很多企业尝试将生产过程中的海量数据与专家经验结合而实现智能决策;通过先进的现代通信技术,精确捕捉用户需求,实现资源快速高效响应配置。基于上述背景,受企业委托项目要求,本文设计并实现一个采集、处理钢铁冷轧生产及设备数据,进行云端存储及分析的智慧云车间系统。实现对生产相关指标进行全面深入的价值挖掘。论文的主要工作如下:(1)前期调研。与企业沟通调研系统的整体需求,研究和学习了国内外的生产相关系统的现状和使用技术,确定了项目的技术选型。(2)需求分析。对整体需求进行整理分析,确定系统的详细需求,与企业进行确认。将系统进行模块划分,通过数据流图对系统进行边界确定。通过用例图确定系统的功能,通过用例表格仔细分析各功能关键点。(3)设计与实现。对系统进行整体架构设计,使用Spring boot作为业务代码的框架,使用My Batis作为数据持久化框架。在数据库设计部分,采用关系型数据库My SQL存储系统基本信息及监控视频属性信息,采用时间序列数据库Influx DB对实时生产数据进行存储,通过分布式文件系统HDFS对海量监控视频进行存储。通过Kafka实现实时数据推送、实现数据计算分析及海量的视频存储检索。通过设计时间序列数据库的聚合计算,提高粒度较小时的基于计算因子的聚合计算的性能。最终实现了设备的接入管理、生产数据的监控告警、操作日志记录、生产数据的聚合计算分析、车间及其下属内容管理、监控视频查询及在平板端的人脸录入和员工打卡等功能。(4)系统测试与上线运行。搭建测试环境,设计测试用例测试功能性需求,通过压测工具对主要功能进行性能测试,检测各项指标是否达标。对测试中出现的问题,定位问题原因,并进行修改。最终验收结果符合企业预期。系统在实际上线后,各功能运行平稳,页面数据响应正常,满足企业要求。

智慧云车间系统的设计与实现

这是一篇关于数据采集,时序数据,InfluxDB,HDFS,Kafka的论文, 主要内容为随着科技发展和工业制造业企业的转型升级,许多传统企业在生产数据的采集上的弊端不断显现出来,许多生产数据都是通过人工抄表的方式记录,数据准确性及实时性都无法保证;企业中的其他不同设备也常通过不同的系统进行控制,往往不同系统间的数据无法进行关联。而恰逢制造业升级转型时机,为了使企业转型升级和投入产出效率提升,很多企业尝试将生产过程中的海量数据与专家经验结合而实现智能决策;通过先进的现代通信技术,精确捕捉用户需求,实现资源快速高效响应配置。基于上述背景,受企业委托项目要求,本文设计并实现一个采集、处理钢铁冷轧生产及设备数据,进行云端存储及分析的智慧云车间系统。实现对生产相关指标进行全面深入的价值挖掘。论文的主要工作如下:(1)前期调研。与企业沟通调研系统的整体需求,研究和学习了国内外的生产相关系统的现状和使用技术,确定了项目的技术选型。(2)需求分析。对整体需求进行整理分析,确定系统的详细需求,与企业进行确认。将系统进行模块划分,通过数据流图对系统进行边界确定。通过用例图确定系统的功能,通过用例表格仔细分析各功能关键点。(3)设计与实现。对系统进行整体架构设计,使用Spring boot作为业务代码的框架,使用My Batis作为数据持久化框架。在数据库设计部分,采用关系型数据库My SQL存储系统基本信息及监控视频属性信息,采用时间序列数据库Influx DB对实时生产数据进行存储,通过分布式文件系统HDFS对海量监控视频进行存储。通过Kafka实现实时数据推送、实现数据计算分析及海量的视频存储检索。通过设计时间序列数据库的聚合计算,提高粒度较小时的基于计算因子的聚合计算的性能。最终实现了设备的接入管理、生产数据的监控告警、操作日志记录、生产数据的聚合计算分析、车间及其下属内容管理、监控视频查询及在平板端的人脸录入和员工打卡等功能。(4)系统测试与上线运行。搭建测试环境,设计测试用例测试功能性需求,通过压测工具对主要功能进行性能测试,检测各项指标是否达标。对测试中出现的问题,定位问题原因,并进行修改。最终验收结果符合企业预期。系统在实际上线后,各功能运行平稳,页面数据响应正常,满足企业要求。

基于物联网的列车部件智能管理系统

这是一篇关于物联网,时序数据,异常检测,微服务的论文, 主要内容为近年来,中国的铁路建设高速发展,为了更好地发展,铁路运输的安全问题是必须解决的。本文以目前广泛使用的列车连接器部件这一应用场景为例,提出列车部件智能管理系统。虽然运营商会安排列车进行定时检修,但都是在列车静止状态下进行的,在日常运行状态下,并没有对重要部件进行实时的监测。因此设计并实现了一整套从硬件部分到软件部分的管理系统,包括数据的采集、异常数据的判断与预警,该系统可以应用于列车连接器等重要部件,对这些部件的运行时状态进行监测,保证安全性。本文重点研究平台开发过程中遇到的问题,主要工作如下:1)为了提高系统对异常数据的判断效率,提出基于边缘计算的传感数据异常检测模型,将数据处理过程在更接近数据采集端进行,同时减少了服务器的计算压力。2)针对大量时序数据,将其划分为冷数据、热数据,并对不同数据类型采用不同的存储方式,通过缓存设计、存储设计和搜索设计来优化本系统对海量历史数据查询的响应效率。3)为了保证系统的扩展性和灵活性,通过使用Spring Cloud框架实现了微服务系统架构,可以更好的应对系统在未来在业务上的拓展。目前,本论文所介绍的系统已经处于测试阶段,该系统可以让运营商监测列车运行时原本无法监测的重要部件,以此在日常维修时对有异常的部件做出更有针对性的检查,可以有效保障列车的运行安全。

基于HBase的煤矿微震时序大数据存储与管理系统的研究与实现

这是一篇关于微震监测,时序数据,分布式存储,随机森林分类的论文, 主要内容为随着我国工业化的不断发展,对煤矿资源的开采强度相对较高,由此引发的煤矿微震事件频率也逐年增多,对煤矿产业工人的人身安全造成了危害。针对煤矿微震事件的监测与分析问题,国内外已进行了大量研究。然而,在现有系统下,对于煤矿微震时序大数据的存储和微震事件数据管理方面仍存在一些待解决的问题,需要进一步深入研究和探索。目前,通过在煤矿开采矿区广泛部署微震监测传感器是一种常见的监测方法。然而,这种方法的广泛应用也引发了一些问题。首先,大规模部署的监测传感器产生的大量微震时序波形数据无法被高效存储与管理。其次,当前对于微震事件分类仍然采用专家人工研判的方式,这种方式尽管一定程度上保证了事件分类的准确性,但效率偏低。本文研究并实现了基于HBase的煤矿微震时序大数据存储与管理系统,该系统具有六个核心模块,包括登录模块、波形数据存储模块、微震事件计算模块、微震事件分类模块、微震事件查询模块以及台站工况模块。其中,登录模块通过用户、角色、权限三者之间的关联,实现了用户身份校验以及用户权限控制。波形数据存储模块主要包括构建索引文件、多线程并发对齐与读取以及存储优化模块,为了进一步提高微震波形时序大数据的存储效率,在此模块中提出了基于HBase与Netty的煤矿微震时序大数据存储框架,该存储框架包含根据微震波形时序数据特征设计的适用于微震波形时序数据的HBase数据表结构、预分区策略以及主键优化策略,在存储子模块中的高并发处理层增加了基于Netty与Redis的数据转发中间件并进行分布式部署,为存储过程提供异步处理能力以及合理的资源调配。该存储优化框架较好地解决了高并发存储问题,有效提高了微震波形数据的存储效率。煤矿微震时序数据计算模块包括微震波判识计算、微震到时定位计算、微震事件震级计算以及微震事件能量计算,该模块为后续微震事件分类与微震事件查询模块提供数据支持。微震事件查询模块采用多维查询条件实现了对煤矿微震事件的精准查询,其中包括根据破坏类型查询、能量范围查询、事件类型查询、破坏程度查询、时间范围查询等多维度查询限定条件。微震事件分类模块包括数据预处理子模块和微震事件自动分类子模块,其中数据预处理部分对微震震级、微震能量以及微震发生位置三个变量数值进行补充与整理。微震事件自动分类子模块实现了基于随机森林算法的微震事件分类器,并在训练过程中对关键参数进行调优。通过实验验证了微震事件分类的准确率为84.39%,可以有效地为煤矿微震事件的安全管理提供技术支持。台站工况模块包括台站工况监测功能和查询台站工况信息功能。台站工况监测功能:系统设置定时任务定期监测台站工况信息。查询台站工况信息功能:用户可根据查询约束条件查询符合条件的台站工况信息,并将结果以ECharts仪表组件和表格的形式为用户显示。本系统采用B/S前后端分离架构设计。其中,底层存储媒介采用HBase分布式数据库为系统整体提供原始数据支撑,微震事件计算结果存储在关系型数据库My SQL中,Web后端由基于Java语言的Spring Boot框架搭建,算法部分基于Python语言编写,前端部分采用ECharts与Boot Strap框架,所有数据服务及数据库均部署在云服务器上提供在线服务。

基于集成学习的微服务异常检测系统的设计与实现

这是一篇关于微服务指标,时序数据,异常检测,无监督集成学习,随机森林的论文, 主要内容为随着微服务的发展和机器学习在各个领域的广泛应用,智能化的微服务指标异常检测成为工业界新的研究热点。传统基于静态阈值的异常检测规则人工配置成本高,并且当业务场景发生变化时,阈值也要对应变化,已经不能很好满足复杂场景下的微服务异常检测的需求。当前的异常检测算法大多是无监督学习,其检测效果不佳。若使用有监督学习,虽然异常检测效果好,但是获取标签数据的成本太高。本文为降低配置微服务异常检测规则的成本,结合实际需求,设计并实现了一个基于集成学习的微服务异常检测系统。本文主要工作如下:(1)设计了一种低耦合度的异常检测系统架构。在技术实现上采用微服务架构的设计模式,实现前后端分离、后端组件化和多实例部署,保证了系统的可扩展性和可用性。使用任务机制将后端分为三个组件:API Server、Scheduler和Processor,分别负责任务管理、任务调度和训练检测,降低了组件之间的耦合度。(2)提出了一种无监督集成学习和有监督集成学习相结合的异常检测方案。集成i Forest、OCSVM和LOF三种无监督学习,对原始的时序数据生成冷启动标签。冷启动完毕后,使用随机森林算法对有标签的时序数据进行训练,得到异常检测模型。实验结果表明,无监督学习在集成优化后生成的标签质量相较于集成前有显著提升,并且随着用户不断对异常检测结果进行反馈,模型检测效果会越来越好。(3)实现了一个实用的微服务异常检测系统。按功能划分为两个模块:训练检测模块和任务管理与调度模块。训练检测模块的功能包括时序数据预处理、生成冷启动标签、训练检测模型和执行异常检测,由Processor负责实现。任务管理与调度模块的功能包括任务管理、任务调度和任务反馈,由API Server和Scheduler负责实现。实现了简洁的前端页面,提供了任务管理和反馈的入口。对系统的功能需求和非功能需求进行了测试,并对异常检测结果进行了分析,验证了该系统的有效性和实用性。

基于HBase的煤矿微震时序大数据存储与管理系统的研究与实现

这是一篇关于微震监测,时序数据,分布式存储,随机森林分类的论文, 主要内容为随着我国工业化的不断发展,对煤矿资源的开采强度相对较高,由此引发的煤矿微震事件频率也逐年增多,对煤矿产业工人的人身安全造成了危害。针对煤矿微震事件的监测与分析问题,国内外已进行了大量研究。然而,在现有系统下,对于煤矿微震时序大数据的存储和微震事件数据管理方面仍存在一些待解决的问题,需要进一步深入研究和探索。目前,通过在煤矿开采矿区广泛部署微震监测传感器是一种常见的监测方法。然而,这种方法的广泛应用也引发了一些问题。首先,大规模部署的监测传感器产生的大量微震时序波形数据无法被高效存储与管理。其次,当前对于微震事件分类仍然采用专家人工研判的方式,这种方式尽管一定程度上保证了事件分类的准确性,但效率偏低。本文研究并实现了基于HBase的煤矿微震时序大数据存储与管理系统,该系统具有六个核心模块,包括登录模块、波形数据存储模块、微震事件计算模块、微震事件分类模块、微震事件查询模块以及台站工况模块。其中,登录模块通过用户、角色、权限三者之间的关联,实现了用户身份校验以及用户权限控制。波形数据存储模块主要包括构建索引文件、多线程并发对齐与读取以及存储优化模块,为了进一步提高微震波形时序大数据的存储效率,在此模块中提出了基于HBase与Netty的煤矿微震时序大数据存储框架,该存储框架包含根据微震波形时序数据特征设计的适用于微震波形时序数据的HBase数据表结构、预分区策略以及主键优化策略,在存储子模块中的高并发处理层增加了基于Netty与Redis的数据转发中间件并进行分布式部署,为存储过程提供异步处理能力以及合理的资源调配。该存储优化框架较好地解决了高并发存储问题,有效提高了微震波形数据的存储效率。煤矿微震时序数据计算模块包括微震波判识计算、微震到时定位计算、微震事件震级计算以及微震事件能量计算,该模块为后续微震事件分类与微震事件查询模块提供数据支持。微震事件查询模块采用多维查询条件实现了对煤矿微震事件的精准查询,其中包括根据破坏类型查询、能量范围查询、事件类型查询、破坏程度查询、时间范围查询等多维度查询限定条件。微震事件分类模块包括数据预处理子模块和微震事件自动分类子模块,其中数据预处理部分对微震震级、微震能量以及微震发生位置三个变量数值进行补充与整理。微震事件自动分类子模块实现了基于随机森林算法的微震事件分类器,并在训练过程中对关键参数进行调优。通过实验验证了微震事件分类的准确率为84.39%,可以有效地为煤矿微震事件的安全管理提供技术支持。台站工况模块包括台站工况监测功能和查询台站工况信息功能。台站工况监测功能:系统设置定时任务定期监测台站工况信息。查询台站工况信息功能:用户可根据查询约束条件查询符合条件的台站工况信息,并将结果以ECharts仪表组件和表格的形式为用户显示。本系统采用B/S前后端分离架构设计。其中,底层存储媒介采用HBase分布式数据库为系统整体提供原始数据支撑,微震事件计算结果存储在关系型数据库My SQL中,Web后端由基于Java语言的Spring Boot框架搭建,算法部分基于Python语言编写,前端部分采用ECharts与Boot Strap框架,所有数据服务及数据库均部署在云服务器上提供在线服务。

基于物联网的列车部件智能管理系统

这是一篇关于物联网,时序数据,异常检测,微服务的论文, 主要内容为近年来,中国的铁路建设高速发展,为了更好地发展,铁路运输的安全问题是必须解决的。本文以目前广泛使用的列车连接器部件这一应用场景为例,提出列车部件智能管理系统。虽然运营商会安排列车进行定时检修,但都是在列车静止状态下进行的,在日常运行状态下,并没有对重要部件进行实时的监测。因此设计并实现了一整套从硬件部分到软件部分的管理系统,包括数据的采集、异常数据的判断与预警,该系统可以应用于列车连接器等重要部件,对这些部件的运行时状态进行监测,保证安全性。本文重点研究平台开发过程中遇到的问题,主要工作如下:1)为了提高系统对异常数据的判断效率,提出基于边缘计算的传感数据异常检测模型,将数据处理过程在更接近数据采集端进行,同时减少了服务器的计算压力。2)针对大量时序数据,将其划分为冷数据、热数据,并对不同数据类型采用不同的存储方式,通过缓存设计、存储设计和搜索设计来优化本系统对海量历史数据查询的响应效率。3)为了保证系统的扩展性和灵活性,通过使用Spring Cloud框架实现了微服务系统架构,可以更好的应对系统在未来在业务上的拓展。目前,本论文所介绍的系统已经处于测试阶段,该系统可以让运营商监测列车运行时原本无法监测的重要部件,以此在日常维修时对有异常的部件做出更有针对性的检查,可以有效保障列车的运行安全。