推荐7篇关于Hadoop框架的计算机专业论文

今天分享的是关于Hadoop框架的7篇计算机毕业论文范文, 如果你的论文涉及到Hadoop框架等主题,本文能够帮助到你

佛山市税源地图大数据展示系统的设计与实现

这是一篇关于智慧城市,大数据,数据挖掘,Hadoop框架的论文, 主要内容为近年来,以信息技术为代表的科技进步使我们的社会经济生活出现了巨大的变化,各个城市的信息化水平已成为判断城市经济发展状况、综合发展实力的重要指标,依托互联网构建的各类税务系统已经陆续上线运行,各类系统所产生的税务数据呈现出数据量大、涉及面广、冗余高的特点,但各级税务机关在数据分析与应用领域的信息化水平还不够高,难以满足国家深化国税、地税征管体制改革的需求,适应税收业务管理的要求。本文在研究国内外税务管理信息化与大数据可视化的基础上,针对基于GIS的可视化技术的税源管理方式能够为税务机关的税收征管业务提供的支持与便利进行了深入的研究,并结合佛山市税务机关的税源管理现状与深化国地税征管体制改革的需求,提出了利用GIS可视化技术与大数据技术构建地图大数据展示系统的解决方案。研究并设计了佛山市税源地图大数据展示系统,实现了海量税源时空数据的存储、运算、挖掘分析,为佛山市税源管理与空间大数据技术的结合提供了实现思路,有效满足了佛山市税务机关在税源大数据挖掘分析与可视化方面的业务需求,促进了佛山市深化国地税征管体制改革的信息化进程,在一定程度上提升了税务机关的管理水平。本文对佛山市税源数据的挖掘分析与展示需求进行了详细的分析,阐述了基于GIS的大数据技术在税源管理领域的应用模式,研究了系统的设计与实现过程,在开发技术领域采用了基于J2EE平台的B/S架构开发,数据库选用支持GIS运算与存储的MySQL 5.7.9数据库,服务器端采用Spring MVC框架,服务器选用tomcat,GIS服务发布选用开源的GeoServer,前端GIS数据展示采用Arc GIS API for JavaScript+JavaScript模板引擎的开发技术。介绍了各技术选型的优缺点,以及部分关键实现过程。总体而言,本课题所研究的税源地图大数据展示系统,能够解决佛山市税务机关在税源数据分析与应用信息化领域的实际问题,满足深化国地税征管体制改革的需求,同时探索了经济建设领域结合GIS技术的应用建设模式。

基于大数据分析的缉查布控系统设计与实现

这是一篇关于缉查布控系统,大数据分析,Hadoop框架的论文, 主要内容为目前绵阳市共建设超过700个公路卡口,每天的过车记录数据信息超过600万条,并伴随有大量的图片和视频数据信息。但是随着更多新建的卡口接入原有的缉查布控系统,系统产生的问题也日趋严重,因此需要对原有缉查布控系统进行改进。在原有缉查布控系统中,采用Servlet接口接收从前端卡口系统上传的数据,然后经过比对分析后存入Oracle数据库。这样的架构导致了一个很严重的问题,即由于在接口中数据会进行比对分析,接口处理数据的速度与卡口上传数据的速度之间存在差异,因此很容易造成数据在接口处不断的积压,导致业务端的数据实时性非常低。原有缉查布控系统中卡口数量少的时候,此问题不是很明显,但是随着城市的发展,卡口数量不断增长,问题也日趋严重。在问题刚开始出现的时候,提供的解决方式是增加缉查布控系统的服务器数量,问题也得到了暂时的解决,但是关系型数据库在数据量大增的情况下,业务端的查询与统计效率也大幅度降低,无法满足业务系统的正常业务需求。因此经过分析,提出以Hadoop框架及大数据分析方法来构建缉查布控系统。面对海量的过车记录数据,本系统采用大数据存储和大数据分析技术来对其进行处理。系统通过Kafka分布式消息队列缓存卡口系统上传的过车数据,不对数据做任何处理即返回上传成功,解决了接口处过车数据累积的问题。系统通过Spark Streaming流计算快速的分析过车数据,提高了系统的实时性。系统通过Hbase分布式数据库来存储过车数据,使业务功能能够达到秒级响应。系统Web端采用AngularJS架构,后端采用SpringMVC框架,充分利用大数据的存储和计算能力,极大的提升了警员用户的使用体验。与原有缉查布控系统相比,本系统利用大数据分析提高了过车数据的存取和分析效率,优化了系统结构,提升了用户的使用体验,同时保障了系统的实用性。本文研究成果目前已在绵阳市交警支队道路智能交通大数据中心进行应用,对缉查布控车辆相关功能和统计分析相关功能均已实现,对促进绵阳建设“中国科技城”,“智慧城市”具有重要的意义。

佛山市税源地图大数据展示系统的设计与实现

基于大数据平台的MOOC混合推荐算法的研究及应用

这是一篇关于大规模公开线上课程,推荐系统,大数据,推荐引擎组,Hadoop框架的论文, 主要内容为得益于互联网的高速发展,传统教育领域正在发生翻天覆地的变化。近年来,一种无门槛、费用低廉、学习资源丰富的新兴教育方式正在普及——MOOC。但随着MOOC平台的迅速发展,MOOC课程数量大幅度增长,造成信息过载的问题。用户很难从大量的MOOC课程中选取自己需要的课程,造成“选课难”的问题。因此使用智能算法解决MOOC平台信息过载问题,帮助用户选取合适的课程,同时让优秀的课程脱颖而出是很有必要的。推荐系统被认为是一种解决信息过载问题更加高效的方法。虽然推荐系统已经成功应用于很多领域,但是在MOOC领域应用推荐系统的国内外相关研究依旧很少。如果直接生搬硬套以往的使用经验,不考虑MOOC应用的场景特征,那么课程推荐结果的准确率会比较低。为了解决MOOC平台的“选课难”问题,本文提出了MOOC隐式评分模型,并且根据当下互联网大数据环境,设计实现了一个基于大数据平台的MOOC推荐系统。本文的主要贡献和创新有:(1)提出MOOC隐式评分模型。该模型根据MOOC平台的应用场景特征,利用用户学习行为,并借鉴以往推荐系统在其他领域的成功经验。(2)利用MOOC隐式评分模型改进了传统的基于物品的协同过滤推荐算法和矩阵分解算法。通过实验结果证明,使用MOOC隐式评分模型可以提高传统推荐算法在MOOC应用中的推荐准确率。(3)设计基于大数据平台的MOOC推荐系统以便于应对当今互联网的大数据环境。该系统根据大数据MOOC应用的业务特点分为六个模块,每个模块都采用微服务架构实现,方便系统以后的扩展和维护。(4)利用MapReduce计算模型给出了基于MOOC隐式评分模型的协同过滤推荐算法的并行化解决方案。然后针对迭代式算法的特点,使用Spark MLlib实现矩阵分解算法,大大减少计算时间和对大规模数据集的处理能力。

佛山市税源地图大数据展示系统的设计与实现

基于企业移动办公软件的运营数据分析与研究

这是一篇关于移动办公软件,数据分析,运营数据,Hadoop框架,R语言,ARIMA的论文, 主要内容为目前,MOA(Mobile Office Automation,简称MOA)业务产生的数据量已经达到了 GB级别,随着部署的局点越来越多,业务的不断拓展,MOA所产生的数据量与日俱增。此现象的出现,不只是在MOA中,很多领域也面临着数据量巨大的问题,该如何可靠的大数据存储与分析已成为目前应用与研究的热点与难点问题。尽管Hadoop能够对MOA业务产生的海量日志数据进行可靠的处理,但是在数据建模、可视化方面有所欠缺,本文采用R语言与能够进行大数据处理的Hadoop框架结合,进行基于Hadoop+Hive+R的MOA运营数据的分析与研究,尝试挖掘MOA日志蕴涵的运营决策信息,并将统计处理的结果构建可视化系统,对提高MOA业务服务具有重要的实际应用意义。本文具体研究与探讨工作如下:(1)根据Hadoop、Hive和R语言它们各自的长处,构建了适合MOA运营数据处理的Hadoop+Hive+R语言云环境。(2)根据MOA日志数据的特点,研究MapReduce的内部结构以深入了解其并行计算架构,设计符合处理MOA日志数据的输入输出及读写格式,以提高MOA日志处理效率。针对MOA日志格式多样性问题,采用Hive进行处理,节约了编写MapReduce的时间,提高了开发效率。(3)为了能够信息交互,使用Struts2 MVC搭建基于J2EE的国内通信行业某知名企业的MOA真实运营数据可视化系统,主要提供了物理资源、客户管理、资源管理、业务拓展分析统计等统计功能,并将R语言分析预测的结果进行可视化处理。(4)通过对MOA真实的运营数据的License进行建模,根据R包建立二次指数平滑模型、Holt-Winters模型、ARIMA模型来完成对License的时间序列分析,再进行模型检验后,得出拟合显著的模型。最后为了验证最佳模型的有效性及可靠性,本文通过拟合显著的模型的预测值与真实值进行比较验证,计算其平均相对误差值、最大误差值,来选择适合License序列的最佳预测模型。通过对MOA运营数据分析与研究结果表明,本文设计的框架能够较好地解决以上MOA存在的问题,云环境能够实现对MOA日志进行有效可靠地存储、处理;可视化系统直观地体现MOA运营数据,为相关决策人员提供直观的数据依据;最佳预测模型ARIMA模型能够实现对MOA运营数据序列License的有效预测。

本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码助手，原文地址：https://m.bishedaima.com/lunwen/51400.html