6个研究背景和意义示例,教你写计算机数据库集群论文

今天分享的是关于数据库集群的6篇计算机毕业论文范文, 如果你的论文涉及到数据库集群等主题,本文能够帮助到你

面向大数据的数据库集群设计实现与优化

这是一篇关于数据库集群,高可用性,故障转移,数据挖掘,故障阈值的论文, 主要内容为随着全国高校信息化建设的不断深入发展,应用系统与网络建设逐渐成熟与完善,门户网站的社会公众关注度、信息公开透明度、数据资源开放度逐步提高,加快了高校教育数字化、网络化、信息化的发展。恰逢教育部相关文件出台,使高校信息化建设有了重要的指导和参考方向,并设立目标要在2025年,形成新时代教育管理信息化制度体系。为推动智慧校园建设,提升智慧校园的数据服务能力,将设计实现全校各信息系统数据集成的存储平台。在存储平台开发过程初期,本人调研国内外数据库集群前沿技术和部分互联网科技公司的高可用数据库集群架构进行技术选型,通过分析实际应用场景和需求,设计适合高校数据库存储集群架构搭建方案。本文的主要贡献具体如下:(1)针对高校大数据环境,设计搭建高可用数据库集群,并部署监控平台。本论文中的存储平台将以My SQL数据库作为数据存储介质,设计主从同步架构进行基础数据库集群的实验搭建;并采用MHA和My Cat中间件,使数据库集群具备高可用和读写分离功能;同时部署Zabbix监控平台对整体集群进行实时监控和预警通知。使集群具备数据信息备份、异地容灾和抗高并发的能力,以及内部自动处理单节点故障的能力。(2)设计编写ETL清洗脚本对监控数据进行抽取、清洗和采集,将清洗后的数据作为后续模型训练的样本集,精确故障阈值。通过梳理监控平台表结构和影响数据库集群性能的主要因素,使用ETL工具对监控数据进行抽取、清洗和采集,作为模型训练的数据样本集,并使用四种采样算法分别对数据样本集进行处理,分析对比评价指标参数,最终选用Borderline-SMOTE采样算法使数据样本集中的数据达到均衡,再通过分类器模型进行数据分类,以精确数据库集群故障阈值。(3)从功能、集群架构、网络架构和制定故障预处理方案对高可用集群进行优化。设计实现高可用数据库集群后,通过实时监控和压力测试,暴露出许多不符合预期效果的问题,经过问题定位和分析,对数据库集群进行优化改良;并对比优化前后性能,实验结果验证表明优化后的数据库集群在性能、可靠性、并发量和用户体验等方面上都得到了提升。目前该数据库高可用集群已经在北京交通大学投入使用,上线运行使用反馈良好,达到了设计初期希望的目标和效果,实现了为我校大数据共享交换平台提供存储保障,并为各个业务部门间的信息资源的共享提供存储交换平台,以更加高效、智慧的理念和方式服务我校师生,进一步协助信息化建设顺利进行。

主题搜索引擎网络爬虫搜索策略的研究与实现

这是一篇关于网络爬虫,搜索引擎,postgresql,数据库集群,主题相关的论文, 主要内容为主题网络爬虫是主题搜索引擎后端获取数据的自动化代码程序,主题搜索引擎前端查询到的数据事先由主题网络爬虫在互联网上抓取,存储在本地。然后对网页进行数据抽取,建立索引。所以主题爬虫对于一个主题搜索引擎来说,起着支撑的作用。本文提出链接文本相关度算法与主题信息值遗传恢复的算法相结合的主题优先抓取算法来指引爬虫抓取方向,并使用postgresql数据库集群技术存储数据。主题优先抓取算法根据网络页面结构的特点,通过页面之间的主题传递来预测页面主题相关性,解决了主题爬虫通道堵塞,抓取遗漏的问题。首先根据锚文本传递一个相关性信息值,如果锚文本给出的信息是相关,相关阀值就直接传递；如果是不相关,就乘以遗传基因比例之后传递。传递的过程中如果遇到相关的网页就恢复链接的相关性信息值到初始值。相关性信息值将互联网网页以主题的不同分割在不同的通道内,所有与主题相关的网页都在最大通道内,各个通道交错相连,爬虫按通道的大小顺序抓取。爬虫要抓取的网页信息量庞大,单台主机不能满足这些信息的存储。本文在资源库以及链接地址库都采用postgresql数据库集群技术,扩大后台存储容量。并且在各个数据库点中使用pgbouncer连接池技术,减少数据库连接次数,争取时间。在链接地址库中采用缓存技术减少数据库操作次数,减少消耗时间,提高爬虫工作速度。最后通过实验测试,分析数据,验证了基于主题优先抓取技术的有效性及postgresql数据库集群技术的爬虫系统的可行性。

数据库集群模式下数据结构同步技术研究

这是一篇关于数据库集群,数据库结构,同步,Hibernate的论文, 主要内容为数据库集群模式下产生成千上万内部结构完全一致的数据库,对这些数据库的管理和维护耗费了大量的人力资源。为了解决这一难题,业界相继推出各种数据库结构比对工具,然而数据库结构比对工具不仅操作复杂,而且只站在数据库层面进行同步,不符合软件工程中面向对象的编程思想。Hibernate的作者Gavin King也在其框架中添加了Hibernate自动建表技术,其自动建表技术不仅操作方便而且符合面向对象思想。但是,在后续的开发实践中该自动建表技术逐渐显露出一系列不足,不能充分满足企业级应用程序对数据库结构的维护需求。首先,本文作者在研究和对比了该领域国内外相关技术的基础上,确定选择Hibernate自动建表技术作为基础技术平台,分析出Hibernate自动建表技术存在的不足,具体为不能同步视图、存储过程、扩大字段的最大长度和删除字段;其次,研究设计出基于Hibernate框架的升级版数据库结构同步技术,创新性地增补了上述四种同步功能,并考虑到新增同步功能要继承Hibernate适配八大主流数据库的良好特性,实验结果显示上述同步功能具有良好的效果和性能;第三,将新增同步功能的相关实现代码封装进Hibernate框架的源码中,完成新增同步技术与Hibernate框架的整合,实现针对Hibernate的框架的优化升级;第四,针对集群模式下多数据源的结构同步需求,使用升级后的Hibernate数据库结构同步技术设计“一键式”结构同步的解决方案,弥补Hibernate自动建表技术只能同步单一数据源的局限。本文的研究成果与数据库结构比对工具相比同步速度更快,且具备良好的稳定性、可扩展性和可维护性,更重要的是符合软件工程中面向对象的编程思想;与Hibernate自动建表技术相比,本文的研究成果同步范围更全面,更加符合集群模式下的数据库结构的管理和维护需求。

基于MQTT协议物联网系统研究与设计

这是一篇关于MQTT协议,数据库集群,物联网管理平台,物联网系统的论文, 主要内容为为加快产业园区数字化改造,传统制造工业将与物联网融合升级为工业互联网,未来将会有更多传统制造企业引用物联网技术,物联网市场规模也会持续增长。当前大多数中小型传统企业工业信息化水平较低,工作人员需要手动记录设备工业屏上的数据,工业环境下的设备状态对外部是未知的,以及如何实现设备的控制和管理都将导致企业难以将工业物联网应用到实际生产中。为解决上述问题,本文基于MQTT协议构建物联网消息系统,将物联网设备接入消息系统,通过设备主动上报采集数据、实时状态,并提供数据存储以及物联网管理平台,帮助管理人员实时监控、管理物联网设备。本文主要工作如下:(1)针对物联网设备存储资源有限、处理数据能力有限和网络带宽小的特点,本文对比多种工业互联网协议,选用MQTT协议设计物联网消息系统,并实现基于ACL控制策略的消息发布/订阅功能,解决设备与系统通信问题。(2)将物联网设备属性、功能、服务抽象出物模型概念,根据物模型概念设计规范的消息主题,提高消息转发效率,并通过JSON的统一数据交换格式,降低了信息传输过程中的损耗。(3)针对数量庞大设备数据存储问题,基于TIDB设计了读写分离的数据库集群,保证了设备数据持久化、可靠性存储。(4)为方便企业人员集中管理、控制物联网设备,设计了物联网管理平台,提供了设备权限管理、用户权限管理、平台日志等功能。最后,本文对物联网系统进行功能需求测试和系统性能测试。测试结果显示,在功能上,该系统能够满足物联网设备基本的消息推送功能,并且系统提供的物联网管理平台能够让系统用户实时掌握设备状态。在性能上,该系统能支持200000设备连接数、消息服务质量(Qos)为0和1分别对应120000、60000消息吞吐,平均响应时间均低于0.2s。目前已将该系统投入企业生产中,系统稳定运行并达到了预期的目标,具有一定的工程价值。