9篇关于Hadoop平台的计算机毕业论文

今天分享的是关于Hadoop平台的9篇计算机毕业论文范文, 如果你的论文涉及到Hadoop平台等主题,本文能够帮助到你

基于Hadoop的手机流量预测算法研究

这是一篇关于Hadoop平台,BP算法,相空间重构,手机流量的论文, 主要内容为近年来移动互联网已经进入一个快速发展的时期,随着手机用户流量的数量级从GB级迈向TB级甚至PB级,海量手机用户流量的出现给各运营商在数据分析处理上带来挑战。如何对海量手机用户流量下阶段使用情况进行有效预测,进而拉动企业业务量增长,已成为研究热点。由于传统数据分析方法无法对海量数据进行快速分析处理,处理海量数据较慢,无法高效分析非结构化数据,且扩展性较差。因此建立一个基于大数据预测算法的平台去处理海量数据势在必行。Hadoop是一个分布式框架,可以方便实现对海量数据挖掘与处理,所以基于Hadoop平台的处理框架为解决上述问题提供了一种新的解决方案。本文通过对比常用智能算法对手机流量的预测效果,得到BP神经网络算法优于其他各算法。但BP算法也存在着不足,为了克服BP神经网络算法陷入局部极小值问题,本文结合了BP神经网络与相空间重构技术,计算出最佳嵌入维数和延迟时间,来提高手机流量预测的准确率。对于训练过程需要消耗大量时间的缺点,本文提出了基于Hadoop平台对BP算法进行并行化处理,缩短训练时间,以此来提高处理海量数据的效率。为了能够更加直观反应数据的预测效果,本文搭建了基于Hadoop平台下利用MapReduce分布式编程框架与CC-BP算法相结合的仿真平台,采用了SSM框架技术,从而对手机流量数据预测结果进行可视化。通过对比实验结果,证明本文所设计出基于Hadoop的BP改进算法处理海量手机流量数据效率更高,同时也保持着较高的预测精度。通过对比不同节点下的数据处理效率,可知随着平台节点数目的增加,海量数据的处理效率会随之提高,从而验证了仿真平台的可行性。

基于Hadoop的高校学业预警系统设计与实现

这是一篇关于Hadoop平台,FP-Growth,K-Means,数据挖掘的论文, 主要内容为近年来,国家对高校教育的重视程度不断增大,高校扩张也在持续增加,大学生的人数也越来越多,从而产生了许多问题和挑战。其中大学生的学业问题尤为重要,如生源质量降低、学生挂科人数日益增多、学生退学率增加等。学业质量下降对高校、个人和家庭都带来了负面影响,因此建立高校的学业预警系统迫在眉睫,对学生有计划、有针对性的帮扶,让学生顺利完成学业,成为对社会有用的一份子。但由于高校学科繁多,系统与系统之间相互独立,学生的学业数据也错综复杂,想要在这些大量的数据中挖掘出有价值的信息,传统的单机计算模式显然不能满足日益增长的需求。本文在此背景下,设计并实现了高校学业预警系统,结合Hadoop分布式Map Reduce计算框架,实现学生成绩的预测和预警,帮助学生完善学业,对高校人才培养具有理论和现实意义。本文的设计思路如下:首先,采用Hadoop平台技术,构建分布式的数据处理平台,为算法的并行化计算提供技术支持。其次,运用FP-Growth关联规则分析和K-Means算法,结合Hadoop平台的优势,将其应用于学业分析中,为校领导和老师提供针对性的建议和解决方案。通过并行化K-Means算法挖掘出课程成绩之间的分布,根据聚类的结果对不同类型的学生提出针对性的合理建议;并行化FP-Growth算法通过对学生挂科的学业课程进行数据挖掘,得到学科与学科之间的内在关联关系,有利于做出合理的培养计划。最后,基于SSH框架,通过对表示层、业务逻辑层和数据持久层的整合,搭建学业预警系统。该系统由预警数据管理、预警信息管理、预警数据挖掘和系统基础信息管理四部分组成。一方面实现了不同阶段学生的学业信息和预警信息,有助于老师和学生随时了解学业概览;另一方面,系统可以对学生成绩进行预警分析,例如通过对某一挂课率较高学科,挖掘出学科之间的关联关系,便于高校及时制定行之有效的培养方案,为高校的教学提供理论支撑,推进高校的智慧校园建设。

蔬菜可追溯云端管理系统应用研究

这是一篇关于追溯系统,Hadoop平台,深度学习算法,Hbase数据库的论文, 主要内容为随着人们生活水平的不断提高、蔬菜生产规模的不断扩大,蔬菜质量安全已然成为影响人民生活质量和身体健康的重要因素。对于传统蔬菜行业,怎样有效、科学、实时地控制供应链的各个环节,俨然已成为企业迫在眉睫解决的问题之一。因此,需要整体完善农产品追溯体系,对蔬菜供应环节实现信息化,提高蔬菜生产效率、缩短资金周转时间,为蔬菜食品质量安全提供重要保障。本文针对相关问题,应用框架开发、云端存储、深度学习、数据库等技术,设计了蔬菜可追溯云端管理系统。主要工作如下:首先对设计蔬菜可追溯云端管理系统所涉及的MVP开发模式、Vue构架、Struts构架、Hadoop分布式存储平台、Hbase数据库技术等关键性技术进行了简要的介绍。其次结合对蔬菜可追溯系统整体需求分析和各类用户不同需求特点,对系统的整体架构和各功能模块进行详尽的设计,实现对蔬菜种植、蔬菜加工、品质检验、蔬菜运输、蔬菜仓储、物流运输、配送、蔬菜销售等环节进行数据自动化信息收集、整理、存储、管理和追溯。再次,将深度学习算法引入到蔬菜质量分类安全系统中,新增了蔬菜品质评级的内容,帮助消费者更清晰了解蔬菜品质、种植、运输和存储环境,让消费者更放心的食用。最后,将蔬菜可追溯云端管理系统进行实现并测试,为用户提供蔬菜全程实时动态跟踪查询,实现处理信息、系统运行状况、业务运作质量的监控管理。向各级管理者提供真实、有效、及时的管理和决策支持信息,为业务的快速发展提供有力支撑。该论文有图41幅,表25个,参考文献50篇。

基于hadoop大数据框架的个性化推荐系统研究与实现

这是一篇关于推荐系统,Hadoop平台,大数据分析,潜在语义分析,个性化推荐的论文, 主要内容为信息过载问题在当今世界越来越突出,目前有三种比较成熟的处理方法,即网站导航、搜索引擎以及推荐系统。网站导航通过收录著名网站并分门别类的方式解决信息过载问题。而搜索引擎通过为海量网页建立索引的方式解决信息过载问题。但是当用户不能明确表述自己的需求时,前两者就略显无力了,而推荐系统就可以解决此类问题。推荐系统通过分析用户历史行为记录,主动为用户推荐其潜在感兴趣的内容。但是随着互联网的高速发展,信息量也呈几何倍数增加,传统的推荐系统在海量数据下容易遭遇计算瓶颈。此外传统推荐系统未充分考虑用户兴趣多变且呈现一定的离散性的问题。针对以上问题,本文参考以往推荐系统设计方案,以搜索引擎下图书的个性化推荐系统为目标,研究并实现一种基于潜在语义分析和分片聚类的混合推荐系统方案。并使用hadoop大数据处理框架解决推荐系统海量数据处理问题。本文首先研究搜索引擎下用户行为数据采集方法。分析搜索引擎下用户行为类型及其特性,针对各数据类型及其特性使用不同的数据采集方式以及标准化方法,从而完成用户行为数据采集工作。其次,针对搜索引擎下用户行为独特性和用户兴趣多变问题,提出潜在语义分析模型和分片聚类模型分别挖掘用户行为大数据下的长久兴趣和即时兴趣。其中,潜在语义分析推荐模型以内容进行推荐,可以缓解用户和图书冷启动问题,并提升系统推荐的覆盖率。而基于分片聚类的协同过滤推荐模型中的将用户行为按属性和内容分片,可以抽取出用户不同时期的兴趣,从而进一步提升推荐性能,且推荐结果具有一定的新颖性。此外,针对分片聚类过程中搜索引擎下用户相似度计算问题,提出一种基于用户检索词的改进混合类型数据相似度计算方法。最后,基于Hadoop大数据处理框架研究用户行为预处理以及推荐算法的并行化方法,完成搜索引擎下图书的个性化推荐系统的设计与实现。通过引入Hadoop大数据处理平台,设计并行化的推荐算法,系统处理海量数据的能力有很大提升。通过基于潜在语义分析的推荐模型和分片聚类的推荐模型协同作用,搜索引擎下图书的个性化推荐精准度和覆盖率也有一定改善。最后,通过系统测试以及算法实验证明其正确性。

基于Hadoop的高校学业预警系统设计与实现

基于hadoop大数据框架的个性化推荐系统研究与实现

基于云计算的推荐系统的研究与设计

这是一篇关于云计算,大数据,Hadoop平台,推荐算法,协同过滤,组合相似度的论文, 主要内容为近年来互联网发展速度一日千里,变化日新月异。电脑、手机的迅速普及和功能的强劲使得人们在足不出户的情况下就能通过互联网了解国内外资讯、查看新闻、关注娱乐时尚、获取理财建议、观看幽默笑话、购买商品等等,带来了极大的便利。与此同时,数据量也呈爆炸式增长,每天在互联网上产生的数据数量已经达到了PB级。在海量的信息面前,用户主动去查找自己喜欢的内容、快捷地筛选对自己有用的信息变得极为困难。针对这些问题,推荐系统诞生了,它可以通过记录用户日常上网的行为数据,分析出不同用户的不同喜好,从而有针对性地进行个性化推荐。要实现这样的推荐系统,需要进行两个方面的研究。一是需要有好的推荐算法,提高推荐的准确性;二是需要能够快速地处理数据,降低算法的运行时间。目前,协同过滤算法在工程中应用广泛,除了算法本身还需要进行优化以外,大数据时代下对算法的效率也提出了要求。协同过滤算法中的相似度计算方法有很多种,而实际使用时只是选择其中一种进行计算,不能很好的覆盖用户喜好的多样性,也使得算法的准确率大打折扣。同时,目前大多数研究的重点都在关注推荐系统的准确度,而忽略了其他的一些指标。因此,如何完整地评价推荐系统也需要进行研究。本文使用Hadoop云计算平台,先深入研究Hadoop云计算平台中的技术,再研究了协同过滤推荐算法的UserCF和ItemCF,提出了组合相似度计算方法的思想。把推荐算法部署到Hadoop云计算平台上,实现算法的并行化计算,提高算法效率。建立推荐系统的评价体系,运用查准率、查全率、MAE以及加速比来评价推荐系统的整体性能。最后文章中做了两个实验,使用基于云计算的ItemCF实现一个电影推荐系统,通过输入互联网上的用户评分数据集观察结果,分析其性能。接着在职位推荐系统中,同时使用多种推荐算法相比较,找出相对优秀的两种相似度计算方法,将它们进行组合,并在实验中找到理想的组合方式。同时证明云计算平台的高性能,与推荐算法结合达到了预期的效果。本文中基于云计算的推荐系统,通过组合算法,提高了推荐结果的准确度;通过使用Hadoop云计算平台,提高了推荐系统的性能,这些对实际工程都有着重要意义。

基于Hadoop平台的服务调度管理系统设计与实现

这是一篇关于大数据,Hadoop平台,服务管理,调度优化,可视化监控的论文, 主要内容为随着数字信息化时代的发展,全球数字信息资源日益庞大,大数据已经渗透到各行各业,成为非常重要的生产因素。由于海量数据的高效处理要求与处理成本之间的矛盾关系,从而产生了大数据服务提供商为用户提供便捷和较低成本的大数据应用计算服务模式。服务商依据现有的大数据技术建立大数据平台,目前主流的大数据平台主要是基于Hadoop技术构建的。对于大数据应用而言,Hadoop发展至今已经较为成熟,尤其是在高效并行计算方面有着特殊的性能,但其仍有不足之处。在Hadoop的实际应用过程中,首先对于多服务共用同一 Hadoop平台而言,服务商不能有效的将多服务进行有效管理和维护;其次,在现有的服务调度技术方面,没有高效的服务调度策略既能够实现平台资源利用最大化,同时又能够最大程度的满足计算服务的需求,这样不仅会使得服务商无法获得最大收益,而且也会导致平台资源利用率有所降低;此外,在平台执行服务过程中,没有实现平台资源与服务状态监控一体化,没有将服务执行过程与资源消耗以可视化的方式呈现,随之产生的是对平台与服务的监管力度不够,排查问题较难,不能做到异常情况的实时预警。综上,建立基于Hadoop平台的服务调度管理系统是解决当前Hadoop平台在实际应用中所面临问题的有效手段。针对以上问题,从平台服务商角度出发,建设一个基于Hadoop平台的服务调度管理系统。本系统主要包括四个模块:服务管理维护模块、服务调度优化模块、服务定时执行模块以及服务可视化监控模块。从服务提交到系统开始,根据服务管理需求对服务的状态、属性等进行管理。针对已存在的服务调度器的缺陷问题,以奖惩共存收益模式为基础提出一种能够同时满足资源、服务以及收益需求的服务调度器。并结合服务调度器所生成的现有调度策略及当前平台资源使用情况,提出一种未来剩余可用资源预测模型,将满足剩余资源的服务加入调度策略中,实现服务商收益最大化。在服务执行前,基于服务执行要求和调度策略对服务进行人工或自动定时执行,增加服务执行的灵活性。最后,将采集到的服务器资源数据、平台资源数据以及服务执行状态数据以可视化的方式呈现到系统界面。本系统解决了当前Hadoop平台在实际应用中所面临的主要问题,加强了对多服务的管理与维护,对众多离线服务进行了合理调度,最大程度满足了服务质量需求,达到了平台资源利用最大化及服务商收益最大化的目标。此外,系统对服务器资源、平台资源以及服务执行过程进行了可视化监控,能够及时掌握资源变化情况,做到异常情况的实时预警。系统按照服务的提交、调度、执行及服务过程和资源可视化监控的流程进行了设计与建设。整个系统的实现充分提高了服务的管理与执行效率,节约了资源成本,是十分有意义和价值的。