给大家推荐5篇关于实时数据仓库的计算机专业论文

今天分享的是关于实时数据仓库的5篇计算机毕业论文范文, 如果你的论文涉及到实时数据仓库等主题,本文能够帮助到你

基于SSM的实时计算任务管理平台的设计与实现

这是一篇关于Flink,实时计算,实时数据仓库的论文, 主要内容为随着移动互联网的兴起,人们面对的数据信息开始呈几何趋势增长,许多企业发现了其中的商业价值,想从海量数据中挖掘有用的信息以支撑商业活动。数据分析人员、企业管理人员趋向获得实时的数据变化,然而,面对大规模的流式数据,常规的分析手段和分析框架对资源使用效率低下、计算结果不够及时准确、开发周期长。因此需要有一套不同于原有的基于Spark和Storm的计算平台,推动企业的数据业务高效运行。Flink计算框架在处理大规模数据时的高吞吐量和低时延特性以及对流式数据的良好支持使之成为了实时计算平台的首选框架,本文在基于Flink计算框架的基础上,使用Spring、Spring MVC、My Batis搭建了web端,对Flink的Table API进一步封装设计,简化了实时计算任务的配置操作和使用,为企业的数据流转提供了有效的解决方案。在该项目的设计开发过程中,作者首先参与了平台的可行性分析以及需求分析,在需求分析的基础上设计了实时计算任务管理平台的四大功能模块并分别实现:(1)Source管理模块:包括对Kafka集群管理,Kafka Topic管理,HBase维度表组织结构(Schema)管理。(2)Sink管理模块:支持将Kafka Topic,Hive表,Ti DB表,Hbase表注册到平台中,作为Sink端数据源。支持手动创建临时表或通过SQL语句在线创建临时表。(3)任务管理模块:该模块用于对实时计算任务增删改查,通过Rest API启动、停止计算任务。(4)任务监控模块:该模块用于监控平台中的实时计算任务运行状况,可以对任务的运行状态、运行时间等属性设置监控规则,查看任务运行日志,查看集群当前数据吞吐量,查看任务延迟时间。最后对系统进行了测试,测试结果表明在保证功能正常实现的基础上,新的实时计算平台相较于传统的手动开发模式加快了任务开发周期,减少了重复开发,实现了更高的资源利用效率和更高的任务吞吐量。

基于SSM的实时计算任务管理平台的设计与实现

某公司决策支持系统的设计及优化

这是一篇关于实时数据仓库,ETL,商务智能,决策支持系统的论文, 主要内容为信息时代,各种数据库系统正前所未有地普及,并在各行各业中有着广泛的应用,这使得存储和事务处理变得更加容易,但是如何处理泛滥的数据,仍然是困扰着组织决策者的一大难题。随着数据仓库和数据挖掘的日益发展,商务智能和决策支持系统成为了决策者更加喜欢的数据分析工具。本课题针对某公司如今正在使用的金蝶K3 ERP系统以及该公司二次开发的帆软Fine Report决策支持系统的运行速度缓慢、功能单一的现状,利用SQL Server商务智能组件、开源商务智能套件、以及JavaEE和开源的框架来重新定制新的决策支持系统——“管理驾驶舱”(MVS-DSS)。论文主要完成了以下工作:研究数据仓库技术,包括传统数据仓库、抽取-转换-加载(ETL)过程、实时数据仓库等。根据某公司当前决策支持系统具有的速度慢、架构不合理、数据源单一的缺点进行了分析,并提出了优化的设计方案。设计基于金蝶K3 ERP系统作为第一数据源的数据仓库,并详细阐述了该数据仓库的设计过程,包括星型架构的设计、数据仓库主题的设计,以及数据库表的设计。阐述了MVS-DSS的ETL过程的设计思路,以及使用开源ETL工具Kettle完成ETL的具体实现过程。并在其基础上增加了Excel数据源的ETL实现。使用SpringMVC和Bootstrap,根据公司决策者的需求,开发Web展示系统,作为决策支持系统的展示工具。讨论了MVS-DSS的系统集成测试(SIT)以及用户验收测试(UAT)的设计过程。根据用户反馈进行MVS-DSS的二次优化方案设计以及实现。通过上述方面的研究与实践,本文实现了基于金蝶K3 ERP数据库以及Excel数据源等多元数据源的数据仓库,将某公司的数据进行了合理的整合转换与利用。并通过所开发的展示系统,将数据仓库中数据转化为决策支持系统可用数据,初步实现了MVS-DSS,为某公司的管理者合理管理公司提供了信息化的方法和手段,也为决策者对公司进行决策提供了辅助决策依据。