基于多源数据的磁盘故障预测工具的研究与实现
这是一篇关于磁盘故障预测,多源数据采集,时序数据存储,可视化交互的论文, 主要内容为随着云服务的快速发展,数据规模增大,使得数据存储的基础设施需求增加。如今的云服务器提供商通常部署数据中心,这些中心配备了遍布全球的数百万磁盘,磁盘故障难以避免。应对磁盘故障风险有冗余备份和事前预测两种措施,事前预测能更好地避免数据丢失的损失并节约成本。目前关于磁盘故障预测的研究大多在学术层面,故障预测模型单一,对于异构磁盘而言精确率低,模型训练和应用都基于机器学习平台,缺乏对模型进行管理并应用的磁盘故障预测可视化交互工具。针对以上问题,本文从磁盘故障预测工具的实际需求出发,结合真实数据中心的多源磁盘数据,设计并实现了磁盘故障预测工具。(1)针对数据中心磁盘多源数据规模大、结构差异大、存储冗余的问题,为了更好地对磁盘状态进行监控并利用磁盘运行数据进行故障预测模型训练,本文设计了采集-处理-存储的多级存储架构,实现了磁盘SMART数据、性能数据和服务器数据的采集和存储。(2)针对单一故障预测模型在异构磁盘中适配不足、模型性能随时间下降、模型受机器学习平台限制的问题,本文对磁盘SMART数据进行特征工程并构建磁盘故障预测模型,对模型进行封装并提供预测接口,支持模型上传加载来更新模型,提供多种预测模型供用户灵活选择,实现对模型的管理和应用。(3)针对磁盘故障预测模型缺乏实际应用、数据中心的磁盘管理缺少智能化工具的问题,本文设计了操作简单、批量化处理、数据可视化的预测工具,集磁盘故障预测与状态监控于一体。实现了磁盘性能数据实时监控的监控面板,提供了磁盘和模型灵活选择的一键故障预测功能,并对风险情况进行预警提示,帮助运维人员管理和决策。
基于深度学习的磁盘故障预测系统设计与实现
这是一篇关于磁盘故障预测,运维系统,数据采集,深度学习的论文, 主要内容为信息产业及云计算技术的发展与普及带动了整个互联网业务的蓬勃发展,服务器停机的成本变得越来越高。而硬盘作为服务器绝大部分数据的存储设施,是服务器上最基础和核心的硬件之一,也是需要做重点保障的。因此硬盘的故障预测和高效运维成为了各大公司基础设施团队亟需解决的问题。传统的磁盘故障检测运维方式有几种:(1)借助于磁盘自身的SMART监控机制来进行故障告警,运维人员再进行操作替换;(2)如果想使用算法来分析磁盘运行情况,运维人员需要在服务器批量执行脚本,采集数据后进行本地分析。这些流程存在几个问题:(1)滞后性:只有当磁盘损坏运维人员才会发现,而且损坏会造成数据丢失和经济损失;(2)效率低:磁盘数据采集后需要人工处理成算法需要的数据格式,没有形成工具化能力。针对以上问题,本文设计并实现了一个基于深度学习的磁盘故障预测系统。本文的主要贡献如下:(1)针对磁盘故障告警的滞后性问题,本项研究基于深度学习实现了磁盘故障预测功能。预测模型有实现了卷积神经网络与长短期记忆网络结合的集成学习方法,并在此基础上提出了基于集成学习的孪生神经网络方法。改进方法在正负样本比例1:1的情况下召回率和F1分数较普通集成学习模型有提高。(2)针对运维效率低的问题,本文设计并实现了一个能够让运维人员自己在系统操作采集磁盘数据、数据分析、操作磁盘故障预测模型训练、模型预测、灰度实验的一整套流程。该系统的优势在于只需培训运维人员后即可解放研发人员人力,运维人员只需要操作系统即可不断迭代模型,提高磁盘运维效率,降低研发成本。
基于深度学习的磁盘故障预测系统设计与实现
这是一篇关于磁盘故障预测,运维系统,数据采集,深度学习的论文, 主要内容为信息产业及云计算技术的发展与普及带动了整个互联网业务的蓬勃发展,服务器停机的成本变得越来越高。而硬盘作为服务器绝大部分数据的存储设施,是服务器上最基础和核心的硬件之一,也是需要做重点保障的。因此硬盘的故障预测和高效运维成为了各大公司基础设施团队亟需解决的问题。传统的磁盘故障检测运维方式有几种:(1)借助于磁盘自身的SMART监控机制来进行故障告警,运维人员再进行操作替换;(2)如果想使用算法来分析磁盘运行情况,运维人员需要在服务器批量执行脚本,采集数据后进行本地分析。这些流程存在几个问题:(1)滞后性:只有当磁盘损坏运维人员才会发现,而且损坏会造成数据丢失和经济损失;(2)效率低:磁盘数据采集后需要人工处理成算法需要的数据格式,没有形成工具化能力。针对以上问题,本文设计并实现了一个基于深度学习的磁盘故障预测系统。本文的主要贡献如下:(1)针对磁盘故障告警的滞后性问题,本项研究基于深度学习实现了磁盘故障预测功能。预测模型有实现了卷积神经网络与长短期记忆网络结合的集成学习方法,并在此基础上提出了基于集成学习的孪生神经网络方法。改进方法在正负样本比例1:1的情况下召回率和F1分数较普通集成学习模型有提高。(2)针对运维效率低的问题,本文设计并实现了一个能够让运维人员自己在系统操作采集磁盘数据、数据分析、操作磁盘故障预测模型训练、模型预测、灰度实验的一整套流程。该系统的优势在于只需培训运维人员后即可解放研发人员人力,运维人员只需要操作系统即可不断迭代模型,提高磁盘运维效率,降低研发成本。
磁盘故障预测模型设计与生成系统的研究与实现
这是一篇关于磁盘故障预测,不平衡数据处理,模型设计,集成学习的论文, 主要内容为随着物联网、云计算等产业的蓬勃发展,数据中心存储数据量的规模呈爆炸性增长,数据中心存储系统的可靠性正面临着严重的挑战,而磁盘故障正是数据中心故障的主要来源。数据中心的磁盘一旦故障,不仅可能导致数据的丢失,还会出现正在使用故障磁盘上存储数据的计算任务返工,这会对长周期云计算任务的效率产生重大的影响。若能准确地预测磁盘故障,不仅可以大幅减少数据的损失,降低数据存储的成本,还能显著提高长周期云计算任务的效率。目前硬盘故障预测技术已成为学术界和工业界的研究热点,对提高数据中心的可靠性具有重要意义。虽然目前已经有了部分磁盘故障预测的研究,但大多都只能处理正负样本比例相差不大的情况,很难处理生产环境下正负样本比例极端不平衡的磁盘数据。同时,现有磁盘故障预测研究也并未考虑随时间规律不断变化的SMART特征,其训练出的磁盘故障预测模型往往会随着时间推移精度逐渐降低。针对以上问题,本文从磁盘故障预测的实际需求出发,结合PAKDD智能运维竞赛开源数据集,研究并实现了一个面向不平衡数据的磁盘故障预测方法。方法使用LightGBM与CNN-LSTM串行集成学习模型结构,在极端不平衡数据下预测的精度优于其他方法。同时,考虑到磁盘SMART特征规律会随着时间不断变化,本文还设计并实现了一套磁盘故障预测模型设计与生成系统。系统除了支持磁盘数据的导入、一键式构建特征外,还支持对CNN-LSTM网络结构的可视化设计,以帮助用户对模型进行持续优化。经测试表明,本文所设计的磁盘故障预测模型设计与生成系统能够满足用户设计并生成模型的需求。
基于深度学习的磁盘故障预测系统设计与实现
这是一篇关于磁盘故障预测,运维系统,数据采集,深度学习的论文, 主要内容为信息产业及云计算技术的发展与普及带动了整个互联网业务的蓬勃发展,服务器停机的成本变得越来越高。而硬盘作为服务器绝大部分数据的存储设施,是服务器上最基础和核心的硬件之一,也是需要做重点保障的。因此硬盘的故障预测和高效运维成为了各大公司基础设施团队亟需解决的问题。传统的磁盘故障检测运维方式有几种:(1)借助于磁盘自身的SMART监控机制来进行故障告警,运维人员再进行操作替换;(2)如果想使用算法来分析磁盘运行情况,运维人员需要在服务器批量执行脚本,采集数据后进行本地分析。这些流程存在几个问题:(1)滞后性:只有当磁盘损坏运维人员才会发现,而且损坏会造成数据丢失和经济损失;(2)效率低:磁盘数据采集后需要人工处理成算法需要的数据格式,没有形成工具化能力。针对以上问题,本文设计并实现了一个基于深度学习的磁盘故障预测系统。本文的主要贡献如下:(1)针对磁盘故障告警的滞后性问题,本项研究基于深度学习实现了磁盘故障预测功能。预测模型有实现了卷积神经网络与长短期记忆网络结合的集成学习方法,并在此基础上提出了基于集成学习的孪生神经网络方法。改进方法在正负样本比例1:1的情况下召回率和F1分数较普通集成学习模型有提高。(2)针对运维效率低的问题,本文设计并实现了一个能够让运维人员自己在系统操作采集磁盘数据、数据分析、操作磁盘故障预测模型训练、模型预测、灰度实验的一整套流程。该系统的优势在于只需培训运维人员后即可解放研发人员人力,运维人员只需要操作系统即可不断迭代模型,提高磁盘运维效率,降低研发成本。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工坊 ，原文地址：https://m.bishedaima.com/lunwen/54887.html
