8篇关于数据治理的计算机毕业论文

今天分享的是关于数据治理的8篇计算机毕业论文范文, 如果你的论文涉及到数据治理等主题,本文能够帮助到你

制造业数据资产管理平台的设计与实现

这是一篇关于大数据,元数据,数据治理,数据资产管理的论文, 主要内容为当前,我国大数据已进入快速推进期,数据成为资产的概念正逐步深入人心,数据治理和数据资产管理的重要性更加凸显。为解决企业数据资产的有效管理和数据规范治理问题,本文作者所在的公司在建设数据仓库和大数据平台基础之上,亟需建设数据资产管理平台,旨在对公司信息系统的数据资产进行盘点及规范管理。本文是作者担任数据资产管理平台项目经理和研发人员的部分工作内容,针对制造业数据资产管理的难点问题,对当前数据资产管理相关理论和技术进行研究,提出了基于DCMM模型的数据资产管理平台框架,设计并实现了基于JAVA整合框架SSH的管理系统,并通过功能和性能测试对系统进行了验证。本文的主要工作,研究了数据资产管理相关理论和平台实现的相关技术架构,对DCMM数据管理能力成熟度评估模型及其应用方案进行了深入研究,设计规划了数据资产管理平台的整体框架、技术架构。在系统需求分析基础上,设计了数据门户、元数据管理、数据模型管理、敏感数据管理、数据生命周期管理等功能模块,对系统需要实现的功能点进行了分解及具体分析。采用面向对象的思想,设计了数据门户的高级搜索、上线备案管理、数据需求管理、容量数据视图、数据资产视图等功能,分模块描述了业务流程、用例说明,进行了程序设计、数据库详细设计,建立了系统E-R图、数据库表。作者使用Eclipse作为开发工具,选用现阶段主流的JavaEE整合框架SSH进行程序开发。遵循MVC设计模式,选择Spring容器框架、SpringMVC框架、Hibernate持久层框架,按照软件开发规范,保障了系统代码的可读性、易扩展性和可维护性。后台选用MySQL数据库,使用Tomcat应用服务器,前端选用EasyUI开发展示页面,利用Tableau进行报表可视化开发,保证了系统的稳定性、可用性和易用性。通过程序开发及系统部署,按系统设计要求实现了数据资产管理平台的功能。本文设计了测试方案、测试策略及测试用例,对系统功能进行测试,确保系统在上线后稳定运行。目前系统已成功部署上线,运行良好,达到了预期的设计目标,实现了元数据、数据资产的有效管控,具有一定的现实意义和实践价值。

制造业数据资产管理平台的设计与实现

AI能力服务化关键技术研究与实现

这是一篇关于AI中台,MLOps,数据治理,视频暴力检测,算法库的论文, 主要内容为近年来,人工智能技术在各个领域取得了可观的突破,但是人工智能技术落地的进程却显得并不乐观,在一方面,各个AI系统各自为政,出现了大量重复开发的工作,另一方面,在AI算法面向实际业务进行研发落地的过程中,在数据治理、开发部署、运维管理中累积了许多技术债,阻碍了算法研发落地的进程。为了解决上述痛点问题,出现了 AI中台和MLOps技术,以完成AI业务相关组件的复用以及对于AI算法全生命周期进行自动化管理。在当下,出现了许多优秀的MLOps框架,然而这些框架目前主要关注于对于AI算法从训练到部署的自动化管道搭建和对于数据漂移的处理,而对于面向AI业务中特别是深度学习相关的数据治理、数据集治理、特征治理、数据可视化等问题仍然缺乏较好的解决方案。在本文中,针对AI服务建设过程中出现的重复开发问题,使用微服务架构设计并实现了一个AI平台,将不同AI业务开发过程中通用的开发、数据处理、训练、测试、部署等流程分别提炼至中台中,将整个平台分为容器云平台、数据平台、训练中心、测试中心和部署中心五个子系统,并设计算法库将平台中的各个算法进行沉淀。除此以外,平台还完善了 GPU调度、集群资源调度器、监控系统、数据库等支撑性服务。针对目前AI业务开发中在数据治理和可视化过程中的痛点,本文分析整理了在AI业务中的数据处理所具有的特性以及AI平台为了支持这些数据处理流程所需要满足的需求,基于这些需求和特性,本文提出了数据集、数据集视图、数据集属性、特征、数据管道、可视化单元等关键概念,基于这些概念设计并实现了一个面向AI业务的数据平台,并进行工程化实现。在所设计数据平台中,用户能够创建自己的数据集,对于数据集中的特征和数据文件进行管理、可视化和分析,能够便捷地编写自己的数据处理组件,以及灵活地对于数据处理组件进行复用,且数据组件的开发过程相比其他MLOps框架学习成本更低、更加便捷。然而,在平台拥有便捷数据治理能力的同时,算法接入平台的固有成本也在增加,使得平台整体的可用性和可维护性变差,这是因为算法在平台中完成接入的统一性和AI算法的多样性以及AI业务中所处理数据多源异构的特性构成矛盾。针对这个问题,本文探究了算法在平台中的接入过程,对比了基于统一架构的集中式算法代码库和基于SDK的分立式算法项目库两种接入体系,创新性地从AI算法中提炼出数据接入点的概念,并设计了 DataAccesser数据结构以及相关SDK,让算法在使用平台数据治理功能的同时,也能够便捷地完成数据的接入,简化了算法在平台中的接入过程。所设计平台使得算法在便于集成和开发的同时,能够一键完成训练、测试和部署,能够在训练测试过程中便捷地进行数据集的增减和切换,并使得在这些过程中使用的数据自动得到记录,减少了算法开发时的技术债,在增量学习等需要频繁增减数据训练或测试的场景具有较大的实用价值。且平台整体的使用过程全部页面化,具有较好的可用性。最后,本文以视频暴力识别应用为例,将SlowFast算法集成至平台中并使用该算法对视频暴力行为识别应用进行建模,首先验证了增加数据对于提升算法性能的有效性,并从数据和信息的视角,对于该算法在暴力场景下的推断性能进行了优化。最后,展示了如何使用所设计平台对于AI算法进行数据的快速迭代并最终部署为服务。

国家税务总局数据治理平台的设计与实现

这是一篇关于税务征管,大数据云平台,数据治理,ODPS,JavaEE的论文, 主要内容为随着大数据时代的到来,大数据、云计算由于其技术的先进性,越来越被企事业单位所重视,因此,搭建自己的大数据云平台也成为了各企事业单位的首选。国税总局为了充分利用大数据的数据分析能力和云计算的资源共享能力,而搭建了总局自己的大数据云平台,并在该平台上开发了大数据分析系统。由于该系统要处理的数据量过于庞大,并且数据资源种类繁多,所以,急需建设数据治理平台来对这些数据进行管理工作,因此,数据治理平台的设计与实现被提上了工作日程。数据治理平台主要包括三个应用功能和一个数据服务功能。数据服务功能由元数据采集与服务功能模块组成,主要是在运行在后台,做数据加工、处理的工作。三个应用功能包括数据资产管理功能模块、数据安全管理功能模块、数据质量管理功能模块。数据资产管理功能模块是对大数据分析系统中的数据资源进行管理并展示,同时也对大数据分析系统的数据加工情况进行监控的模块。数据安全管理功能模块是对大数据分析系统的数据进行安全方面的管理,包括对敏感数据进行安全级别定义和监控应用功能访问记录等安全相关的管理工作。数据质量管理功能模块是对大数据分析系统的数据加工过程中,可能出现的数据质量方面的问题,例如数据加工口径与应用口径不一致,数据加工质量低等问题,进行监控和管理的功能模块。由三个应用功能和一个数据服务功能构成的数据治理平台,和大数据分析系统是相辅相成、互利共生一样的关系。数据治理平台从技术上对大数据分析系统进行监控和管理,同时也减轻了用户对于数据治理工作的劳动强度。本课题重点对数据治理平台建设过程中的系统需求确定,各项技术的选择和系统的实现进行了全方位的阐述和总结。本课题在需求分析和系统概要设计阶段,采用面向对象的思想,结合各种系统和网络架构,对数据治理平台进行设计。在系统详细设计阶段根据相关业务来设计系统应用功能,并根据相关应用功能进行数据库的设计工作。在系统开发阶段,采用JavaEE和MySQL数据库等技术,利用统一研发规范准则开展软件开发工作,保障了系统代码的统一性、可读性、易扩展性和可维护性。在系统的测试阶段,依据各项测试原则,充分利用各种测试规则,对应用功能进行测试,确保了系统在上线后能够稳定、高效、安全的运行。经过长达一年的研发与设计,数据治理平台已经同大数据分析系统一同上线运行。由数据治理平台保障的大数据分析系统,在上线运行后,系统运行情况稳定,数据加工、处理高效,系统环境安全可靠。满足了总局各司局领导及各业务管理人员的工作需要,为税务征管工作提供了可靠的决策支持。

供应链金融平台数据反垄断研究——以中企云链为例

这是一篇关于供应链金融,数据垄断,社会网络分析,数据治理的论文, 主要内容为数据经济时代,数据作为重要生产要素推动商业模式不断创新,供应链金融平台模式便是其中之一。由于缺乏有效的监督和管理,平台在数据的生产、存储、流通和使用过程中实施数据垄断,以强化数据价值赢取竞争优势地位,不仅影响了市场公平竞争的秩序,还威胁了行业的健康发展,引起了学术界和司法界广泛的关注与讨论。因此,供应链金融平台如何实现数据反垄断和数据治理是本文研究的问题。本文提出了针对供应链金融平台数据反垄断的分析框架。由于供应链金融平台主体多样,业务类型复杂,现有数据垄断标准无法统一衡量与判断是否存在数据垄断,供应链金融领域数据垄断有关的定义在学术界也尚未达成一致。因此本文围绕平台数据价值链增值过程中存在的数据收集隐蔽化、平台数据产权化和数据利用黑箱化的问题,梳理了供应链金融平台基于数据量垄断和以数据为强化垄断工具的行为垄断的数据垄断形成路径,结合业务实践建立了数据反垄断研究思路,遵循从“数量”反垄断到“行为”反垄断的分析路径逐步探究供应链金融平台实现数据反垄断。本文选取中企云链平台展开案例研究,发现金融科技技术赋能平台业务,有助于明确数据权属,推动数据的流通和传递,使得数据价值增值过程公开化透明化,为供应链金融平台打造了数据积极共享、数据权属明晰、共同监督的治理环境。基于数据反垄断分析框架,本文借助社会网络分析方法搭建供应链金融平台数据量垄断分析模型,发现供应链金融网络结构影响数据传递效果,位于核心节点的业务主体对数据资源有较强的控制能力,可以通过控制数据的传递与共享获取数据垄断的地位优势。金融科技赋能下的中企云链平台网络结构扁平,不同节点地位接近,获取和处理数据资源的能力平均,链上数据在网络中积极流通共享,平台不具备数据资源优势,难以实现“数据量”垄断。本文设计了区块链赋能下平台和中小企业的收益博弈模型,研究供应链金融平台反数据垄断行为,发现区块链等金融技术促进平台内节点集体监督,增加了平台和中小企业信用博弈中的违约成本,为了维护自身声誉其均采取守信、规范经营的策略,并结合业务实践总结平台难有动力采取合谋掩饰、欺诈造假和限制竞争等不正当竞争手段,实现了反数据垄断行为。本文总结了金融科技技术赋能供应链金融平台建设模式,从“数据量”到“行为”垄断均协助平台实现了反垄断,达到数据反垄断效果,并梳理了该平台模式下存在的不足,面向政府、行业、平台提出了供应链金融数据治理的对策建议,以期进一步加强供应链金融平台数据反垄断建设,为供应链金融领域数据治理体系建设提供参考。本文的创新点在于基于数据价值链提出了从“数量”到“行为”的供应链金融平台数据反垄断的分析路径,避开了对数据要素市场和垄断力量的界定,对开展数据反垄断研究更具普适性,也有助于针对性地实施数据反垄断治理措施。

基于数据中台系统的可视化设计与实现

这是一篇关于大数据,数据可视化,WEB平台,数据治理的论文, 主要内容为现代企业和政府的应用中,面向PC、客户端和移动端的软件形式多种多样,而在那些前台应用背后的财务、库存、客户关系等各类数据管理系统,是后台系统链路中的重要逻辑部分。数据的种类纷繁复杂而且规模较大,从而可能需要一个合适的中台系统来对大数据进行管理分析和数据整合,从而用户可以快速的从复杂的数据中提取出有效的信息,提高开发效率,为企业和政府的数字化发展提供保障。论文设计和实现的数据中台的可视化系统便是在这样的背景下应运而生的,该系统的核心是实现数据资源的协调规划,系统底层通过数据接入、数据质量、数据清洗等模块,解决部门内外的数据信息资源的汇聚和治理的核心诉求,本系统将业务项目涉及到的数据统一进行管控治理,从而为上层业务应用以及外部业务系统提供统一数据资源的支撑服务。本文对国内外的数据可视化系统的发展情况和关键实现进行了详细分析;通过调研需求,得到了该系统的详细需求,该系统主要包括数据接入、数据质量、数据清洗等部分,对于系统的可视化部分设计了合理的架构方案,可视化层采用微前端和单页应用结合的设计,数据服务层采用springboot搭建,同时设计并实现了系统的核心开发部分:数据源管理、数据接入任务管理、数据清洗转换、数据清洗任务管理、数据质量监控、质检报告等关键部分。该数据中台可视化系统具有较好的适用性,对于很多行业的数据场景都可快速接入实现数据治理,该系统经过充分的测试后,最终达到了用户的期望的需求并且投入生产使用。

基于Spark的元数据管理系统的设计与实现

这是一篇关于数据治理,元数据管理,SparkSQL,血缘分析,元数据质量的论文, 主要内容为随着高校数字化建设的深入开展,全国各个高校都在加快建设自己的数据中心,其中的一卡通平台,教学系统和科研管理等系统每天都会产生大量的数据。由于早期各部门数据存储系统和数据定义标准都不尽相同,这给数据的统一管理和使用造成了极大的障碍,建设统一的数据中心并进行数据治理就显得十分必要。目前数据治理在全国各个高校开始兴起,元数据管理作为数据治理的重要部分,参与了数据的整个生命周期的活动。元数据管理是实现高校数据资产的全面聚合和数据深层次共享的核心关键。本文以传统的元数据管理系统为背景,从高校元数据管理的需求出发,对基于大数据技术的元数据管理系统进行设计和实现,即基于Spark的元数据管理系统。并详细阐述了理论基础,系统设计与实现和测试的内容。以下是论文主要的工作:1.在元数据分析方面:本系统使用Spark的核心组件Spark SQL对数据库进行操作,解析Spark SQL的逻辑计划,并对其进行拆解得到元数据血缘关系。通过对Spark SQL on Hive模块进行修改,解决了Spark SQL对字段级别的元数据分析困难的问题,提高了Spark对于字段级别元数据的分析能力。2.在元数据质量方面:本系统从元数据的填充完备率、一致性、唯一性,有效性和完整性对元数据质量进行检测,排查不规范数据。系统运行这些数据质量规则可产生相应的元数据质量报告,并支持导出报告,让数据分析人员对系统的元数据质量情况有清晰的掌握。3.本论文设计并实现了基于Spark的元数据管理服务,通过HDFS双机热备机制来保证系统存储数据的一致性,通过YARN来进行集群节点之间的任务调度,通过Spark来处理集群的计算请求,通过Hive进行数据仓库管理,使用HTML和Vue.js开发了Web界面进行功能交互,使数据管理员和数据分析员能便捷化地进行元数据管理。本论文实现了一个基于Spark的元数据管理系统,通过对系统进行功能测试分析,系统满足元数据管理的基本功能需求,对于元数据质量可以全程监控。基于Spark的元数据管理系统可以为后续数据分析,以及大数据治理活动:数据质量监控,主数据管理,数据资产管理提供深层次的服务,可以进一步加快高校大数据治理的进程。