基于机器学习的磁盘故障预测系统的设计与实现
这是一篇关于磁盘故障预测,Flume,Kafka,Python,数据安全,机器学习的论文, 主要内容为随着互联网的迅猛发展、数据量的迅速增长,云计算、物联网以及大数据、云存储等新兴技术方兴未艾,而这些技术能够平稳发展就需要海量存储系统的支撑。在现今知识爆炸的时代,数据作为获取知识的信息源,一定程度上决定了一家企业的存亡,因此,大量数据的安全存储也是企业确保各项业务稳定运行的关键。磁盘仍是当今存储领域的主流设备,磁盘的运行状况直接影响着存储系统的可靠性和可用性。磁盘一旦发生故障,有可能会引起业务故障导致数据服务不可用,严重的程度下还有可能导致数据丢失,致使企业信誉受损,给企业造成不可挽回的损失。基于机器学习的磁盘故障预测系统旨在利用大多数厂商制造的统一的标准SMART(Self-Monitoring Analysis and Reporting Technology,即“自我监测、分析以及报告技术”)特征数据实现对于磁盘故障的预测,以完成磁盘故障的主动容错,减少甚至避免因磁盘故障导致的数据丢失。该系统完成了用户管理功能、磁盘故障预测功能、日志管理功能、统计信息功能、磁盘报警等多项功能,实现了结合公司数据特征的磁盘故障预测系统的落地。在构建系统的时候还考虑到了磁盘运行数据库的建立。其中,系统的核心功能是磁盘故障预测功能,包含开始预测模块、暂停预测模块、预测模型训练模块;其它三部分内容都是对这部分内容的辅助,用户管理模块负责对使用该系统用户的管理,包含用户登录、信息查看、密码修改、注销等多项基础功能,日志管理模块一方面记录了用户账号进行处理的相关日志、另一方面记录了磁盘故障预测历史以及对故障磁盘进行的处理操作,统计信息模块记录了系统各个服务的运行状态、磁盘运行状态以及对于磁盘故障预测部分模型最佳模型的统计信息等。本人在项目中主要研究关于磁盘预测模块的相关功能。前端触发了磁盘故障预测的功能会启动业务逻辑层的相关服务。业务逻辑层的相关服务包括磁盘运行数据采集服务、数据预处理服务、磁盘状态预测服务以及磁盘状态进行预测等多项功能,为上层提供接口封装,以实现用户对于预测效果的理解,及时捕捉到磁盘的状态对数据采取措施以保护数据的安全。业务逻辑层的所有提供的服务都是以系统磁盘运行特征的数据库作为基础的,而构建底层数据库的内容也是工作的一部分,其中涉及到利用Flume、Kafka等技术对分布于不同区域的磁盘运行日志进行处理。该系统业务逻辑层的功能部分主要采取Python实现,通过线下对数据特征的探索和处理,选择相关领域研究的有效机器学习算法,最终实现了对于磁盘故障的预测,并且通过比较能够选择出最可信的结果,在低误报率的情况下实现较高的准确率。并将这一系列的模块封装成微服务向上层提供服务,一方面确保相关技术在升级迭代的时候前端业务能够正常运行,另一方面保证服务之间相互独立,逻辑清晰,保持松耦合的状态。
广告管理平台的设计和实现
这是一篇关于互联网,广告管理平台,Flume,Storm的论文, 主要内容为随着互联网的蓬勃发展,各行各业都在借助互联网来改变传统的经营模式,广告行业就是其中典型的代表。随着科技的进步,传统的广告投放模式已经不能满足客户的需求以及应对庞大业务量的增长,并且取得的效果也差强人意。广告管理平台就是为了解决这一问题应运而生的。广告管理平台改变了传统的投放模式,将过去线下的业务借助互联网将资源整合搬到了线上,不仅简化了业务流程,减少了中间环节,还创造了巨大的商业价值。用户可以根据自己的需求去制作广告素材,并选择适合的广告位去投放。而资源主可以将自身空闲的资源利用起来创造更多的经济价值。广告管理平台包含六个核心模块,分别为系统管理模块、资源管理模块、广告管理模块、素材管理模块、广告主管理模块以及行为分析模块。本人在实习期间,参与的具体工作如下:(1)可行性分析,在项目前期与组内同事了分析了行业当前现状,了解现有广告平台的运营模式,为项目的开发进行技术预言及技术储备。(2)需求分析,通过与产品经理沟通确定核心需求,将所有需求记录下来,送至客户审阅。(3)概要设计,根据需求分析结果,划分系统模块及其所包含的子模块,建立系统的逻辑模型,建立了详细的数据模型,为之后的详细设计做出铺垫。(4)详细设计及系统实现,根据概要设计的结果,进行代码编写并进行验证。本平台是采用了商业系统传统B/S架构的,采用了较为常用的两个开源框架spring MVC和Mybatis;数据库采用Oracle数据库;前端界面采用了较为流行的jQuery框架进行开发。在行为分析模块中还使用了 Flume进行信息的采集,Kafka进行队列消息的分发,通过Storm进行实时数据分析。目前本系统已经完成第一版,并部署在线上运行。现阶段,广告平台的二期开发仍在进行,根据用户的反馈结果以及使用情况进行优化升级,同时对系统的可用性、兼容性、可扩展性进行完善,力图构建出一个成熟的广告管理平台。
基于微服务化的Web后台系统架构优化及实现
这是一篇关于服务化,微服务,Zookeeper,Docker,Shiro,Flume,Gradle的论文, 主要内容为随着互联网的蓬勃发展,日益增大的访问量和用户不断变化增加的需求给Web后台开发带来了越来越大的压力。随着项目的增大,后台工程内部各个功能子模块之间耦合关系便无可避免的越来越紧,其严重的影响开发、测试、运维等工作。针对这个问题,当前主流的解决思路是参考服务化的理念,将整个后台系统按照功能拆分成多个子功能模块。近些年业界提出了微服务的概念,其提出了对单个服务使用容器封装操作管理的完整一栈式解决方案。在此环境之下,为了解决传统Web后台开发中的各种问题,也为了汲取服务化和微服务各自优点并修正解决其缺点,本文尝试将服务化和微服务的思想理念结合并在此基础上提出一套微服务化的后台架构方案。首先,本文深入剖析了分布式服务化系统开发中需要解决的问题,介绍并分析了当前业界服务化的开源解决方案的以及基于ZooKeeper的二次开发相比于其他方案的优势,微服务的基本概念以及相关实现工具Docker的基本知识。同时,本文还详细介绍了 Flume,Shiro,Gradle等构建子服务模块开源组件的基本知识。其次,本文以Gradle为项目构建工具搭建基于SpringMVC的基础Web框架并在此框架上开发基于Shiro的权限管理子系统和基于Flume的日志功能子系统以及基于ZooKeeper的服务中心子系统并完成基于微服务化的后台系统的开发。最后,本文将开发好的基于微服务化的后台系统集成进“中国移动业务支撑系统信息模型测试平台”中,在验证实际系统的健全性和可集成性后,通过对基于微服务化的架构方案的系统和传统Web系统在并发承载量,内存消耗以及响应速度上进行对比测试以验证新架构方案的性能优越性。综上所述,本文旨在提出一种基于微服务化的后台设计架构方案,并提出公共模块子系统(日志,权限)以及业务子系统的设计方案与测试方案。该方案被应用到中国移动业务支撑系统信息模型测试平台的开发和测试中,并最终对在实际生产环境中以新架构方案为基础的工程进行功能和性能测试,通过架构优化前后功能的可用性的测试和性能的对比,得出了该方案的有效性和正确性。
广告管理平台的设计和实现
这是一篇关于互联网,广告管理平台,Flume,Storm的论文, 主要内容为随着互联网的蓬勃发展,各行各业都在借助互联网来改变传统的经营模式,广告行业就是其中典型的代表。随着科技的进步,传统的广告投放模式已经不能满足客户的需求以及应对庞大业务量的增长,并且取得的效果也差强人意。广告管理平台就是为了解决这一问题应运而生的。广告管理平台改变了传统的投放模式,将过去线下的业务借助互联网将资源整合搬到了线上,不仅简化了业务流程,减少了中间环节,还创造了巨大的商业价值。用户可以根据自己的需求去制作广告素材,并选择适合的广告位去投放。而资源主可以将自身空闲的资源利用起来创造更多的经济价值。广告管理平台包含六个核心模块,分别为系统管理模块、资源管理模块、广告管理模块、素材管理模块、广告主管理模块以及行为分析模块。本人在实习期间,参与的具体工作如下:(1)可行性分析,在项目前期与组内同事了分析了行业当前现状,了解现有广告平台的运营模式,为项目的开发进行技术预言及技术储备。(2)需求分析,通过与产品经理沟通确定核心需求,将所有需求记录下来,送至客户审阅。(3)概要设计,根据需求分析结果,划分系统模块及其所包含的子模块,建立系统的逻辑模型,建立了详细的数据模型,为之后的详细设计做出铺垫。(4)详细设计及系统实现,根据概要设计的结果,进行代码编写并进行验证。本平台是采用了商业系统传统B/S架构的,采用了较为常用的两个开源框架spring MVC和Mybatis;数据库采用Oracle数据库;前端界面采用了较为流行的jQuery框架进行开发。在行为分析模块中还使用了 Flume进行信息的采集,Kafka进行队列消息的分发,通过Storm进行实时数据分析。目前本系统已经完成第一版,并部署在线上运行。现阶段,广告平台的二期开发仍在进行,根据用户的反馈结果以及使用情况进行优化升级,同时对系统的可用性、兼容性、可扩展性进行完善,力图构建出一个成熟的广告管理平台。
基于微服务化的Web后台系统架构优化及实现
这是一篇关于服务化,微服务,Zookeeper,Docker,Shiro,Flume,Gradle的论文, 主要内容为随着互联网的蓬勃发展,日益增大的访问量和用户不断变化增加的需求给Web后台开发带来了越来越大的压力。随着项目的增大,后台工程内部各个功能子模块之间耦合关系便无可避免的越来越紧,其严重的影响开发、测试、运维等工作。针对这个问题,当前主流的解决思路是参考服务化的理念,将整个后台系统按照功能拆分成多个子功能模块。近些年业界提出了微服务的概念,其提出了对单个服务使用容器封装操作管理的完整一栈式解决方案。在此环境之下,为了解决传统Web后台开发中的各种问题,也为了汲取服务化和微服务各自优点并修正解决其缺点,本文尝试将服务化和微服务的思想理念结合并在此基础上提出一套微服务化的后台架构方案。首先,本文深入剖析了分布式服务化系统开发中需要解决的问题,介绍并分析了当前业界服务化的开源解决方案的以及基于ZooKeeper的二次开发相比于其他方案的优势,微服务的基本概念以及相关实现工具Docker的基本知识。同时,本文还详细介绍了 Flume,Shiro,Gradle等构建子服务模块开源组件的基本知识。其次,本文以Gradle为项目构建工具搭建基于SpringMVC的基础Web框架并在此框架上开发基于Shiro的权限管理子系统和基于Flume的日志功能子系统以及基于ZooKeeper的服务中心子系统并完成基于微服务化的后台系统的开发。最后,本文将开发好的基于微服务化的后台系统集成进“中国移动业务支撑系统信息模型测试平台”中,在验证实际系统的健全性和可集成性后,通过对基于微服务化的架构方案的系统和传统Web系统在并发承载量,内存消耗以及响应速度上进行对比测试以验证新架构方案的性能优越性。综上所述,本文旨在提出一种基于微服务化的后台设计架构方案,并提出公共模块子系统(日志,权限)以及业务子系统的设计方案与测试方案。该方案被应用到中国移动业务支撑系统信息模型测试平台的开发和测试中,并最终对在实际生产环境中以新架构方案为基础的工程进行功能和性能测试,通过架构优化前后功能的可用性的测试和性能的对比,得出了该方案的有效性和正确性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设向导 ，原文地址：https://m.bishedaima.com/lunwen/50696.html
