云环境下大规模时间序列数据的异常检测技术研究
这是一篇关于云环境,时间序列数据,异常检测,半监督学习,VAE的论文, 主要内容为在复杂多变的云环境下,为确保云中的各种应用程序和服务24/7在线,运维工程师需要同时监控实体(集群机器、容器、应用程序等)的多个指标序列(如CPU利用率、请求响应延迟等),确保服务的质量和可靠性。近年不少研究使用深度学习等算法用于时间序列的异常检测,但它们大多数是针对单个指标的异常检测,由于标签数据难以获取,导致监督学习算法难以实施,而无监督算法要么需要大量的正常数据训练,要么具有低准确率,难以满足云环境下大规模时间序列的异常检测。针对上述问题,本文对云环境下时间序列运维数据的异常检测问题进行研究,以能够及时准确地检测出异常并定位异常产生的原因。首先,提出一种实体级别的基于长短期记忆网络LSTM的半监督变分自编码的异常检测算法LR-Semi VAE,利用少量标签带动大量无标签数据一起进行训练,且用变分自编码VAE来学习多元时间序列的复杂分布,使用长短期记忆网络LSTM来建模数据间的时间依赖关系,将分类器预测的标签用于VAE重建输入序列,通过优化ELBO损失函数,使模型在训练过程中关注正常数据,忽略异常数据,且用重建概率分数作为异常检测器。最后,在第三方数据集上对LR-Semi VAE的异常检测性能进行评估,LR-Semi VAE相对于半监督学习算法VAE M2、无监督学习算法LSTM-VAE的异常检测性能分别提高了约30%和50%。其次,针对面向服务体系结构的应用和微服务的异常检测,本文在LR-Semi VAE基础上进一步提出了RT-Semi VAE异常检测算法。RT-Semi VAE使用LSTM来捕捉短期依赖、多头注意力机制Transformer学习长期依赖关系,并根据服务调用链追踪溯源根因实体,且对异常产生的原因做出指标级别的定位,方便运维工程师能及时找到异常根源并采取措施进行修复。实验表明,RT-Semi VAE相较于VAE M2和LSTM-VAE的异常检测性能分别提高约37%和55%。最后,将针对单体应用的LR-Semi VAE异常检测算法和针对服务依赖应用的RT-Semi VAE异常检测算法进行集成,设计一个面向智能运维服务的时间序列异常检测系统原型,包括监控采集时间序列数据、存储数据、融合异常检测算法、异常定位、数据展示等功能。对原型进行测试,从包丢失、内存泄漏和CPU占用等常见的异常类型与已有的其它检测方案进行对比,结果表明能快速准确地检测出异常,细粒度地定位异常产生的原因,在保障服务的质量和稳定性方面具有优势。
时序故障数据智能分析系统的设计与实现
这是一篇关于故障诊断,时间序列数据,多尺度分析,深度信念网络的论文, 主要内容为时间序列分析是处理动态数据常用的方法,可以反映出当前对象的发展趋势。时间序列故障数据反映出随着时间的变化对象的故障变化的程度和状态,通过对时间序列故障数据的分析,挖掘出其特征变化规律,从而可以判断出当前数据源是否发生故障以及故障的损耗程度。本文先以轨道车辆的轴承在动作过程中产生的振动信号作为数据源,结合时间序列故障数据的特征,提出了一种基于时间序列故障数据的故障分类模型Multi-scale-VMDPSO-DDBN-BP(MVPDD)。本模型首先选择合适的步长对信号进行多尺度处理,然后对处理完的信号经过变分模态分解成多个IMFs分量,再将分解后的IMFs分量分别并行的输入到双尺度深度信念网络当中,再将双尺度深度信念网络的输出进行叠加作为整体输出,粒子群优化算法与深度信念网络相结合来确定神经网络中每层神经元的个数,最后通过BP神经网络对整个模型进行反向微调,使用Softmax分类器对信号实现分类。通过与其他模型的实验结果比较,本文提出的分类模型MVPDD具有更高的准确性和有效性。传统的车辆轴承故障检测方式主要是依靠检验人员的工作经验以及技术水平,在一定程度上降低了故障检测准确率,同时检测耗时耗力。本文提出了一种在线实时高效的远程轴承故障诊断系统,使用MVPDD模型和传统的检测方式在内的多种检测方式,采用微服务思想,利用Spring Cloud框架和大数据相关技术搭建的分布式系统,保障系统具有高可靠、易拓展等特点。检测人员通过本系统可远程实时的查看设备是否发生故障,不仅提高了检测效率,同时也降低了企业的安全隐患。
时序故障数据智能分析系统的设计与实现
这是一篇关于故障诊断,时间序列数据,多尺度分析,深度信念网络的论文, 主要内容为时间序列分析是处理动态数据常用的方法,可以反映出当前对象的发展趋势。时间序列故障数据反映出随着时间的变化对象的故障变化的程度和状态,通过对时间序列故障数据的分析,挖掘出其特征变化规律,从而可以判断出当前数据源是否发生故障以及故障的损耗程度。本文先以轨道车辆的轴承在动作过程中产生的振动信号作为数据源,结合时间序列故障数据的特征,提出了一种基于时间序列故障数据的故障分类模型Multi-scale-VMDPSO-DDBN-BP(MVPDD)。本模型首先选择合适的步长对信号进行多尺度处理,然后对处理完的信号经过变分模态分解成多个IMFs分量,再将分解后的IMFs分量分别并行的输入到双尺度深度信念网络当中,再将双尺度深度信念网络的输出进行叠加作为整体输出,粒子群优化算法与深度信念网络相结合来确定神经网络中每层神经元的个数,最后通过BP神经网络对整个模型进行反向微调,使用Softmax分类器对信号实现分类。通过与其他模型的实验结果比较,本文提出的分类模型MVPDD具有更高的准确性和有效性。传统的车辆轴承故障检测方式主要是依靠检验人员的工作经验以及技术水平,在一定程度上降低了故障检测准确率,同时检测耗时耗力。本文提出了一种在线实时高效的远程轴承故障诊断系统,使用MVPDD模型和传统的检测方式在内的多种检测方式,采用微服务思想,利用Spring Cloud框架和大数据相关技术搭建的分布式系统,保障系统具有高可靠、易拓展等特点。检测人员通过本系统可远程实时的查看设备是否发生故障,不仅提高了检测效率,同时也降低了企业的安全隐患。
时序故障数据智能分析系统的设计与实现
这是一篇关于故障诊断,时间序列数据,多尺度分析,深度信念网络的论文, 主要内容为时间序列分析是处理动态数据常用的方法,可以反映出当前对象的发展趋势。时间序列故障数据反映出随着时间的变化对象的故障变化的程度和状态,通过对时间序列故障数据的分析,挖掘出其特征变化规律,从而可以判断出当前数据源是否发生故障以及故障的损耗程度。本文先以轨道车辆的轴承在动作过程中产生的振动信号作为数据源,结合时间序列故障数据的特征,提出了一种基于时间序列故障数据的故障分类模型Multi-scale-VMDPSO-DDBN-BP(MVPDD)。本模型首先选择合适的步长对信号进行多尺度处理,然后对处理完的信号经过变分模态分解成多个IMFs分量,再将分解后的IMFs分量分别并行的输入到双尺度深度信念网络当中,再将双尺度深度信念网络的输出进行叠加作为整体输出,粒子群优化算法与深度信念网络相结合来确定神经网络中每层神经元的个数,最后通过BP神经网络对整个模型进行反向微调,使用Softmax分类器对信号实现分类。通过与其他模型的实验结果比较,本文提出的分类模型MVPDD具有更高的准确性和有效性。传统的车辆轴承故障检测方式主要是依靠检验人员的工作经验以及技术水平,在一定程度上降低了故障检测准确率,同时检测耗时耗力。本文提出了一种在线实时高效的远程轴承故障诊断系统,使用MVPDD模型和传统的检测方式在内的多种检测方式,采用微服务思想,利用Spring Cloud框架和大数据相关技术搭建的分布式系统,保障系统具有高可靠、易拓展等特点。检测人员通过本系统可远程实时的查看设备是否发生故障,不仅提高了检测效率,同时也降低了企业的安全隐患。
云环境下大规模时间序列数据的异常检测技术研究
这是一篇关于云环境,时间序列数据,异常检测,半监督学习,VAE的论文, 主要内容为在复杂多变的云环境下,为确保云中的各种应用程序和服务24/7在线,运维工程师需要同时监控实体(集群机器、容器、应用程序等)的多个指标序列(如CPU利用率、请求响应延迟等),确保服务的质量和可靠性。近年不少研究使用深度学习等算法用于时间序列的异常检测,但它们大多数是针对单个指标的异常检测,由于标签数据难以获取,导致监督学习算法难以实施,而无监督算法要么需要大量的正常数据训练,要么具有低准确率,难以满足云环境下大规模时间序列的异常检测。针对上述问题,本文对云环境下时间序列运维数据的异常检测问题进行研究,以能够及时准确地检测出异常并定位异常产生的原因。首先,提出一种实体级别的基于长短期记忆网络LSTM的半监督变分自编码的异常检测算法LR-Semi VAE,利用少量标签带动大量无标签数据一起进行训练,且用变分自编码VAE来学习多元时间序列的复杂分布,使用长短期记忆网络LSTM来建模数据间的时间依赖关系,将分类器预测的标签用于VAE重建输入序列,通过优化ELBO损失函数,使模型在训练过程中关注正常数据,忽略异常数据,且用重建概率分数作为异常检测器。最后,在第三方数据集上对LR-Semi VAE的异常检测性能进行评估,LR-Semi VAE相对于半监督学习算法VAE M2、无监督学习算法LSTM-VAE的异常检测性能分别提高了约30%和50%。其次,针对面向服务体系结构的应用和微服务的异常检测,本文在LR-Semi VAE基础上进一步提出了RT-Semi VAE异常检测算法。RT-Semi VAE使用LSTM来捕捉短期依赖、多头注意力机制Transformer学习长期依赖关系,并根据服务调用链追踪溯源根因实体,且对异常产生的原因做出指标级别的定位,方便运维工程师能及时找到异常根源并采取措施进行修复。实验表明,RT-Semi VAE相较于VAE M2和LSTM-VAE的异常检测性能分别提高约37%和55%。最后,将针对单体应用的LR-Semi VAE异常检测算法和针对服务依赖应用的RT-Semi VAE异常检测算法进行集成,设计一个面向智能运维服务的时间序列异常检测系统原型,包括监控采集时间序列数据、存储数据、融合异常检测算法、异常定位、数据展示等功能。对原型进行测试,从包丢失、内存泄漏和CPU占用等常见的异常类型与已有的其它检测方案进行对比,结果表明能快速准确地检测出异常,细粒度地定位异常产生的原因,在保障服务的质量和稳定性方面具有优势。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码工厂 ,原文地址:https://m.bishedaima.com/lunwen/54879.html