8篇关于数据中台的计算机毕业论文

今天分享的是关于数据中台的8篇计算机毕业论文范文, 如果你的论文涉及到数据中台等主题,本文能够帮助到你

基于微服务架构的数据中台系统的设计与实现

这是一篇关于数据中台,微服务,元数据的论文, 主要内容为随着物联网技术的快速发展,人们生活在一个越来越数字化的世界之中。依大数法则来说,一旦被记录的数据趋向于无穷大,映射在各个业务系统中的一切都将会被数据取代。现如今很多业务在生产或者在进行业务处理的过程中就需要使用数据参与其中,借助数据的分析结果来辅助业务进行实现,比如说智能推荐业务。但当前现状下传统的先有业务再有数据的生产流程已无法满足大众的需求,而数据中台的出现则改变了这种传统的开发思路。它让数据在创造价值的基础之上不再作为业务的附属产物而出现,而是使得数据可以直接供业务开发使用,这不仅加快了前台与后台之间的开发效率,还提高了业务部门的创新能力。本文在结合自己实际工作的基础上,设计开发实现了一个基于微服务架构的数据中台系统,其最终实现的效果是可以对数据进行统一的管理。论文首先对国内外数据中台有关的研究现状和系统建设现状进行了简单介绍,并给出了技术理论说明。针对所要解决的问题以及业务部门相关需求对系统进行了必要的需求分析,并基于此给出了相应的流程设计。同时,考虑到当下单体应用系统的局限性,系统的开发选择了当前比较流行的Spring Cloud微服务框架。本文对系统所涉及到的微服务进行了抽象与分组,大致分为数据接入管理微服务、数据资产管理微服务、元数据管理微服务、数据质量管理微服务、数据服务管理微服务以及数据安全管理微服务。之后,基于这几大微服务系统分别从数据库设计、接口实现等方面给出了各微服务模块的设计实现说明。最后,对系统进行了必要的功能测试和性能测试。测试表明,该系统在安全性、稳定性、可移植性等非功能性需求方面均满足系统的开发需求。同时,基于此系统,系统相关涉众不仅可以实现多数据源下数据的综合统一管理,还可以利用接入系统的数据来做出更为准确的决策。

针对轴承企业的工业APP及数据中台开发

这是一篇关于工业APP,数据中台,Django,工业软件的论文, 主要内容为近年来不少行业已经在使用针对本行业生产或工艺特点而设计的MES(制造执行系统或生产执行系统)系统。虽然工业互联网是近几年才提出的概念,但这些行业MES系统大部分均已有5到10年的研发历史,并在当前成为各行业执行工业互联网战略的核心组件。以本人实习的某公司研发的MBT系统为例,其研发始于2012年,现已在50多家轴承工厂执行生产调度与管理任务。随着移动设备的推广,MBT系统的用户也提出引入这类设备提升生产与管理效率的需求。通过对原系统功能的整理,本论文对其中适合移植到移动设备端的功能进行了分析,设计数据中台实现原系统C/S架构与移动端的数据桥接,并在此基础上构建了移动端B/S框架,将其中可显著提升生产组织效率的几个关键业务功能进行了实现。MES系统核心功能是通过对设备状态、生产过程的实时数据监控,辅助实现生产调度、生产组织的优化,在实际执行过程中为了确保决策数据的完整,MES系统还会前后扩展管理原料库、成品库等部门。本文基于对象MES系统的这些特点,在移动端实现了以下三大类功能:(1)针对库房的物料循环盘点、入库检验、出库等功能;(2)生产现场中的首检、跳序加工(针对大型轴承)、物料的流转检验等功能;(3)设备管理中针对机床设备的点巡检和机床监控模块MQTT终端管理等功能。在具体业务功能开发上,对业务存在的问题进行分析,从优化角度、使用者角度提出针对性的开发需求。例如循环盘点的盘点效率低、库存更新慢,在业务功能开发中通过分化快速盘点和差异盘点、内置计算器等方式提升盘点效率并在物料盘点后实时更新库存;跳序加工容易出现漏序的状况,若到了主机厂收货质检才发现问题,将给企业造成巨大经济损失(存在极多现实案例),根据这个问题在业务功能开发中通过数据中台控制物料加工过程中的状态变化来防止漏序的发生;点巡检业务管理不规范容易导致设备漏检,在业务功能开发中加入点检定位、拍照留底等功能规范点检流程,通过数据中台控制点巡检任务状态防止设备漏检。在系统架构上,搭建一套以B/S架构和C/S架构并行的工业APP体系。采用uni-app框架开发移动端应用,包括对UI界面、人机交互功能以及业务功能的设计与实现。采用Django框架作为数据中台,采用两级路由模式,在Model层映射数据表,在视图层开发业务,实现了对上层业务的管理。以MBT系统作为后台,脱离上层业务逻辑的处理,利用C/S架构的优势专心处理底层数据。以SQL Server作为数据库来保障数据存储的需求。本文通过对工业APP及数据中台的开发,搭配MBT系统进行使用,分工合作,解决了该工业软件后期业务升级难和优化成本高的问题。企业通过使用本文中的工业APP,覆盖了以往单独使用MBT系统所无法辐射的移动办公需求,解决了部分业务过去工作流程繁琐、工作效率低、生产管理数据更新慢等问题,进一步提高了企业生产和管理的效率。

城镇小区用户用能数据中台设计与实现

这是一篇关于用户用能,数据中台,实时采集,数据清洗的论文, 主要内容为2015年国家发改委提出,建设跨行业能源运行动态数据集成平台,鼓励能源与信息基础设施共享复用。构建以供电公司为主导的小区用户侧能耗管理系统,以实现能源监测,减少能源浪费,提升用户服务质量。但由于用户侧的电、水和气等能源自成体系,形成多态的能源数据形式,存在数据类型不一致,业务不协同的问题,从大量的能耗数据中掌握用户用能情况具有一定困难。因此,开发适用于小区用户侧能耗管理的数据中台,显得十分必要。本课题来源于供电公司科技项目,论文设计了一种城镇小区用户用能数据中台形式,对数据清洗算法进行研究并提出了高斯混合模型的改进算法,对该数据中台开发实现并部署在某市小区试运行。本文的主要工作如下:(1)分析城镇小区用户用能数据中台的功能性需求以及非功能性需求,提出一种数据中台架构,其整体的架构包括数据采集、数据服务、数据存储和数据展示四部分。(2)针对用户侧能耗数据存在异常值的问题,提出一种改进GMM的数据清洗算法。采用粒子群算法对求解参数进行优化,并采用循环雅克比和QR分解算法求解协方差矩阵。结果表明,无论是清洗效果还是各项指标,改进算法相较于原有算法都有更好数据清洗能力,保证了数据质量。(3)开发城镇小区用户用能数据中台。使用类图、时序图和流程图详细设计了数据中台对Mongo DB数据库、My SQL数据库、本地文件、FTP服务器文件的初始化采集和增量采集,增量采集使用数据库日志抽取方式实现;详细设计了字段处理、数据过滤和数据校验部分,实现了中台的数据处理功能。最后设计并进行了功能和非功能测试实验,证明了数据中台的可行性。本文所开发的某市供电公司小区用户用能数据中台,完成了实地部署,测试效果表明本文的设计方案合理有效,为供电公司实现用户侧用电优化管理奠定了基础,具有一定借鉴作用。

面向基层医疗机构的数据中台研究与实现

这是一篇关于基层医疗,数据中台,知识图谱,本体映射的论文, 主要内容为近几年,我国医疗信息化建设已具有一定规模,信息系统已基本覆盖各基层医疗机构的各职能领域。然而在基层医疗信息化发展过程中,存在各基层医疗系统相关联的业务无法协同、相同医疗数据无法共享的问题。基层医务人员想要从大量的医疗数据中获取到有价值的信息变得愈发困难,从而造成了基层医疗机构人力和财力的浪费。数据中台的实践意义在于,通过数据建模实现跨业务域的数据整合和数据能力沉淀,为解决基层医疗信息化建设中存在的问题提供了解决方案。本文采用知识图谱和数据中台相融合的数据中台构建方案,结合基层医疗实际的业务需求,依据当前其他领域数据中台构建的成功案例,设计了三层架构的基层医疗数据中台模型,分别是数据贴源层、数据治理层、数据服务层:一、数据贴源层的基础数据来源于某市一百个基层医疗机构的医院信息系统(HIS)、结核病管理系统(TB)、电子病历系统(EMRS)等医疗系统。本文制定了统一的标准和清洗规则,结合ETL技术完成对各医疗系统原始数据的抽取与清洗。二、数据治理层对数据的处理采用构建基层医疗知识图谱的方案。知识图谱构建首先复用了“医联工程”构建的领域知识本体,抽取其顶层本体结构;然后将清洗后的关系数据和医疗本体通过相似度映射算法进行映射。最后基于Flask框架开发知识图谱数据存储与检索服务。数据存储结合pandas技术实现对关系数据库中的实体和关系表的CSV文件转换,并通过LOAD语句将节点和关系数据导入Neo4j图数据库,实现基层医疗知识图谱持久化。基层医疗知识图谱检索服务通过py2neo和Restful微服务技术实现。三、数据服务层以基层医疗数据中台管理系统为核心,对基层医疗数据中台内部统一管理并对外提供数据服务。该系统以PHP语言为基础,结合Symfony后端框架、React前端框架进行设计开发,运用Axios、RSA以及JWT等技术实现数据异步请求和数据安全。系统主要实现了数据报表、数据可视化、服务网关、用户管理等功能。

基于微服务架构的数据中台系统的设计与实现

基于微服务的厨电企业数据中台系统的设计与实现

这是一篇关于数据中台,微服务架构,元数据管理,客户订单分类,数据可视化,GAPSO-SVM的论文, 主要内容为随着信息技术的迅猛发展,厨电企业开展了数字化转型,开始采用信息化管理系统对企业生产数据进行维护管理,但随着业务的扩张,这些信息化管理系统愈发无法满足厨电企业发展管理需求。在厨电企业采用的各种信息管理系统中存储了大量的内部生产数据,但由于各个信息管理系统均为独立开发建设,开发标准和底层实现不尽相同,导致各系统中的数据相互孤立,无法相互建立联系。如何根据一定的场景,从海量的生产数据之中快速精准的挑选出有效信息,并进一步对其进行数据处理,提升数据价值,从而实现赋能生产发展成为厨电企业愈发关注的问题。本文以微服务为架构开发数据中台系统,以期为厨电企业提供一个数据聚合管理的平台。主要做了以下工作:(1)采用主流微服务架构Spring Cloud解决单体架构耦合性高导致的可拓展性、可维护性差的问题,选用Spring Cloud中具体的开发组件进行厨电企业数据中台系统的设计与开发。(2)针对传统的单体元数据管理架构无法满足厨电企业海量业务数据的提取、数据实时性差等问题,采用基于Atlas的元数据管理架构实现厨电企业数据中台系统中的元数据管理;选用Kafka connect构建厨电企业元数据ETL通道,并结合Atlas配置数据来源,实现元数据集成分析与呈现。(3)针对厨电企业订单分类问题,依据卡杰拉克矩阵模型构建出客户订单模型,并利用GAPSO-SVM分类模型实现厨电企业客户订单的分类。(4)对厨电企业数据中台系统业务功能需求进行研究与分析,划分系统业务功能模块,采用Spring Boot和Spring Cloud完成系统服务端开发,前端采用Vue框架,结合Echarts完成数据可视化开发,并对系统性能及功能进行测试验证。研究结果表明,结合厨电企业数据管理,实现了厨电企业信息管理系统的数据聚合和客户订单数据分类模型的建立,并采用可视化技术实现了各业务流程的直观呈现。经过验证,本文设计实现的基于微服务的厨电企业数据中台系统具有可维护性高、可拓展性高、部署简单等特性,解决了厨电企业数据分散、利用率低等问题,满足了厨电企业数据管理需求。

基于数据中台的高校数据共享交换平台的设计与实现

这是一篇关于数据中台,数据仓库,数据分析,共享交换平台的论文, 主要内容为近年来高校被赋予更深层次的育人使命,这要求高校信息化工作紧跟时代步伐,加强研究创新,以更加智慧和科学的技术和工具开展工作,以更加精细化的服务应对日益多样化的校园师生需求。目前,越来越多的工作将交由信息系统完成,这导致信息资源迅速扩张且类型多样。在数据缺乏整合利用、交换与共享能力差的情况下,师生面对海量的数据却得不到有效的数据服务。进入大数据时代,如何解决数据的管理问题,将校园庞大冗杂的数据变为可用的资源持续产生价值,并为教学过程提供高质量的服务,是当前迫切需要研究的课题。数据中台概念的普及及其在数据融合、处理、分析方面的优势,为高校数据治理与数据共享交换提供了方向。根据对北京交通大学的数据现状以及对现实需求的剖析,本文提出了基于数据中台的数据交换共享平台综合解决方案,其中设计并实现了数据采集与流转子系统、数据治理子系统、数据开发与分析子系统和数据资产服务子系统,以助力搭建高效和可持续的数据资产体系,发挥数据价值并对数据进行有效管理。数据流转与采集子系统涉及到实时数据仓库的设计与搭建,通过流批一体化的数据抽取工具与技术对源数据进行全面动态地采集并存入数据仓库中。数据治理子系统主要负责对数据中台中的数据标准、元数据、主数据、数据安全和数据治理进行全面的管理和维护。数据开发与分析子系统主要支持系统使用人员对数据开发任务进行管理并提供数据血缘和多维数据分析功能。数据资产服务子系统主要提供API接口、数据目录、数据查询、数据分析和智能推送等服务,从而实现数据资产的价值。在平台开发过程中,本人主要负责对整个数据中台的架构进行设计,搭建实时数据仓库,对数据采集、数据治理、数据开发分析和数据资产服务四个子系统进行设计与实现。本系统基于Spring Boot框架进行开发,主要使用Flinkx、Canal、Kettle和Flume工具进行数据采集,使用My SQL、Redis、Hbase、HDFS、Click House和Kafka作为数据存储工具,使用Flink、Spark、Atlas和科大讯飞提供的SDK进行数据开发与分析,使用Davinci和ECharts进行数据可视化开发。本项目实现的数据交换共享平台已在北京交通大学投入测试运行,极大地帮助高校缓解了当前面临的数据管理难、利用效率低下等问题,突破了高校数据共享瓶颈,提高了高校大数据利用价值,并以更为智慧高效的方式服务广大师生。