基于微服务的集中MSS容灾管理平台的设计与实现
这是一篇关于微服务,灾备,灾备切换,分布式,Spring Cloud,Activiti的论文, 主要内容为随着国家经济的快速发展,为预防自然灾害或人为因素所造成的企业业务持续性中断给行业带来的不良影响,国内众多行业在业务连续性的理论和方法上不断发展和成熟,灾备基地建设也初具规模。基于微服务的灾备管理平台就是专为拥有灾备基地的企业所打造的一款系统切换工具,企业管理人员只需要通过软件绘制灾备切换流程图,并绑定与之相关的切换脚本和负责人员,系统就可以通过制定好的切换流程自动完成从生产端到灾备端的系统切换。相比传统手动的切换方式,这种方式极大地缩短了系统切换的时间,提高了切换的效率,对企业业务连续性建设意义非凡。笔者在参与项目开发的过程中,独立完成了虚拟机监控模块、配置管理模块、资产管理模中服务器管理子模块、脚本管理中脚本创建子模块、切换管理模块中一键切换功能、日志管理模块的设计与实现。其中,虚拟机监控模块提供对虚拟池中虚拟机的启停操作与状态监控,为切换工作提供便利。配置管理模块为系统提供人员、角色等方面的基础支撑功能。资产管理和脚本管理分别实现对服务器、脚本的管理与测试,为系统切换提供支持。切换管理模块的一键切换功能利用Activiti(业务流程管理框架),实现了流程的可视化创建与自动化执行。日志管理采用了Spring AOP(Spring面向切换编程)技术,从多个方面记录切换人员的操作,有利于企业事后总结切换经验,优化切换流程。此外,由于各个企业给与的资源参差不齐,如何在有限的资源下,设计一种具有拓展性的并发限流方案,是本项目的一个难点。笔者经过对灾备切换场景的分析,利用Redis高性能、高并发的特点,结合Zuul(API网关)过滤器实现了整体限流、服务限流、接口限流三种逐渐细化的并发控制功能,经过测试,此方案效果显著。系统安全方面,笔者还利用Spring Security(安全服务框架)拦截用户的请求,并使用JWT(Json Web Token)技术完成用户的统一安全认证功能。在项目的测试阶段,笔者完成了自己负责模块的所有功能与非功能测试工作。目前,灾备管理平台已在国航、新华、长安等知名企业上线。系统的基本功能和性能均达到了预期要求。公司目前正在开拓新的市场,在此版本的基础上为新的版本开发提供依据。
基于RDMA的分布式内存文件系统的设计与实现
这是一篇关于NVM非易失性内存,远端内存直接存取,RDMA内存文件系统,灾备的论文, 主要内容为伴随着互联网时代的到来,各种社会活动产生大量数据。因此,数据的存储和同时高效的从中检索读取出所需要的数据便成为一个函需解决的问题。分布式文件系统是一种有效的解决方式。非易失性内存(Non-Volatile Memory,简称NVM)的出现提供了新的选择。NVM是一种高性能的存储设备;具有的最大特点是掉电不丢失数据,性能近似内存;具有可字节寻址、读写延迟在纳秒级别的优势。研究人员针对NVM做了许多尝试;基本都是在单机节点上完成,然而单节点文件系统难以扩展存储容量,存储容量十分有限,不能满足社会的需求。针对NVM,如何充分利用其高性能,又能应用于分布式文件系统中,是一个值得研究的课题。随着CPU和I/O系统的性能不断提升,以太网的传输性能已经不能满足需求。传统的TCP/IP网路协议栈十分复杂,使得网络传输速度和内存的存取速度有较大的差异,从而导致依赖于以太网进行数据传输的分布式文件系统整体性能的下降。RDMA(Remote Direct Memory Access)技术全称远程直接内存访问,就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。因此,将NVN和RDMA结合起来,以提高分布式文件系统的性能是一个重要的工作。本文将介绍一种基于RDMA的非易失性内存存储文件系统(RDMA NVM File System,简称RNFS),RNFS具有快速扩展NVM存储容量,并通过RDMA技术充分利用NVM的高性能,实现快速文件数据的读写。本文主要进行了以下研究:1)支持节点扩展的架构设计。RNFS文件系统采用主从结构,Master节点负责元数据以及对Slave节点的管理,而Slave节点则负责提供文件数据存储空间。2)基于RDMA的文件数据读写流程。利用RoCE协议实现高效的RDMA文件数据读写操作。还讨论了数据一致性机制。保证数据在读写过程中的正确性。3)基于位图链表的存储空间分配机制。RNFS中借鉴了重庆大学刘志祥通过位图链表来管理NVM的分配使用方法,综合了位图节省空间和链表的快速分配的优点。为了保证实现文件大数据块的读写性能,通过预分配连续物理空间的机制来加速分配过程和通过多线程后台回收来加快数据块释放过程。4)数据备份功能。对于一个复杂的分布式文件系统,节点失效是十分常见的问题,RNFS实现了数据备份功能来提高系统的稳定性。最后,对RNFS文件系统进行了测试实验。
基于RDMA的分布式内存文件系统的设计与实现
这是一篇关于NVM非易失性内存,远端内存直接存取,RDMA内存文件系统,灾备的论文, 主要内容为伴随着互联网时代的到来,各种社会活动产生大量数据。因此,数据的存储和同时高效的从中检索读取出所需要的数据便成为一个函需解决的问题。分布式文件系统是一种有效的解决方式。非易失性内存(Non-Volatile Memory,简称NVM)的出现提供了新的选择。NVM是一种高性能的存储设备;具有的最大特点是掉电不丢失数据,性能近似内存;具有可字节寻址、读写延迟在纳秒级别的优势。研究人员针对NVM做了许多尝试;基本都是在单机节点上完成,然而单节点文件系统难以扩展存储容量,存储容量十分有限,不能满足社会的需求。针对NVM,如何充分利用其高性能,又能应用于分布式文件系统中,是一个值得研究的课题。随着CPU和I/O系统的性能不断提升,以太网的传输性能已经不能满足需求。传统的TCP/IP网路协议栈十分复杂,使得网络传输速度和内存的存取速度有较大的差异,从而导致依赖于以太网进行数据传输的分布式文件系统整体性能的下降。RDMA(Remote Direct Memory Access)技术全称远程直接内存访问,就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。因此,将NVN和RDMA结合起来,以提高分布式文件系统的性能是一个重要的工作。本文将介绍一种基于RDMA的非易失性内存存储文件系统(RDMA NVM File System,简称RNFS),RNFS具有快速扩展NVM存储容量,并通过RDMA技术充分利用NVM的高性能,实现快速文件数据的读写。本文主要进行了以下研究:1)支持节点扩展的架构设计。RNFS文件系统采用主从结构,Master节点负责元数据以及对Slave节点的管理,而Slave节点则负责提供文件数据存储空间。2)基于RDMA的文件数据读写流程。利用RoCE协议实现高效的RDMA文件数据读写操作。还讨论了数据一致性机制。保证数据在读写过程中的正确性。3)基于位图链表的存储空间分配机制。RNFS中借鉴了重庆大学刘志祥通过位图链表来管理NVM的分配使用方法,综合了位图节省空间和链表的快速分配的优点。为了保证实现文件大数据块的读写性能,通过预分配连续物理空间的机制来加速分配过程和通过多线程后台回收来加快数据块释放过程。4)数据备份功能。对于一个复杂的分布式文件系统,节点失效是十分常见的问题,RNFS实现了数据备份功能来提高系统的稳定性。最后,对RNFS文件系统进行了测试实验。
基于RDMA的分布式内存文件系统的设计与实现
这是一篇关于NVM非易失性内存,远端内存直接存取,RDMA内存文件系统,灾备的论文, 主要内容为伴随着互联网时代的到来,各种社会活动产生大量数据。因此,数据的存储和同时高效的从中检索读取出所需要的数据便成为一个函需解决的问题。分布式文件系统是一种有效的解决方式。非易失性内存(Non-Volatile Memory,简称NVM)的出现提供了新的选择。NVM是一种高性能的存储设备;具有的最大特点是掉电不丢失数据,性能近似内存;具有可字节寻址、读写延迟在纳秒级别的优势。研究人员针对NVM做了许多尝试;基本都是在单机节点上完成,然而单节点文件系统难以扩展存储容量,存储容量十分有限,不能满足社会的需求。针对NVM,如何充分利用其高性能,又能应用于分布式文件系统中,是一个值得研究的课题。随着CPU和I/O系统的性能不断提升,以太网的传输性能已经不能满足需求。传统的TCP/IP网路协议栈十分复杂,使得网络传输速度和内存的存取速度有较大的差异,从而导致依赖于以太网进行数据传输的分布式文件系统整体性能的下降。RDMA(Remote Direct Memory Access)技术全称远程直接内存访问,就是为了解决网络传输中客户端与服务器端数据处理的延迟而产生的。因此,将NVN和RDMA结合起来,以提高分布式文件系统的性能是一个重要的工作。本文将介绍一种基于RDMA的非易失性内存存储文件系统(RDMA NVM File System,简称RNFS),RNFS具有快速扩展NVM存储容量,并通过RDMA技术充分利用NVM的高性能,实现快速文件数据的读写。本文主要进行了以下研究:1)支持节点扩展的架构设计。RNFS文件系统采用主从结构,Master节点负责元数据以及对Slave节点的管理,而Slave节点则负责提供文件数据存储空间。2)基于RDMA的文件数据读写流程。利用RoCE协议实现高效的RDMA文件数据读写操作。还讨论了数据一致性机制。保证数据在读写过程中的正确性。3)基于位图链表的存储空间分配机制。RNFS中借鉴了重庆大学刘志祥通过位图链表来管理NVM的分配使用方法,综合了位图节省空间和链表的快速分配的优点。为了保证实现文件大数据块的读写性能,通过预分配连续物理空间的机制来加速分配过程和通过多线程后台回收来加快数据块释放过程。4)数据备份功能。对于一个复杂的分布式文件系统,节点失效是十分常见的问题,RNFS实现了数据备份功能来提高系统的稳定性。最后,对RNFS文件系统进行了测试实验。
TDH集群灾备系统的设计与实现
这是一篇关于大数据,集群,灾备,数据同步的论文, 主要内容为在星环的大数据平台TDH(Transwarp Data Hub)的集群上部署有HDFS、Inceptor、Hyperbase等相关工具,为了进一步提高集群的可靠性并减少集群故障时的损失,需要将这些工具的数据同步到备用集群上,这是一种灾备的方式。进行灾备后,在一个集群的工具出现故障无法使用的时候,可以切换到灾备集群处理业务而不需要等待主集群的恢复,使业务能够持续地正常地进行。然而,人工进行灾备较为繁琐,需要操作人员了解各种工具的灾备方式,也不方便设置每天定时执行的数据同步任务。针对以上问题,本文设计开发了TDH集群灾备系统,该系统致力于对集群中的相关工具进行灾备,对灾备同步方案及任务进行统一的管理。TDH集群灾备系统将灾备过程进行封装,让用户不需要了解灾备的具体实现,只需要输入主备集群的必要信息,配置好灾备数据同步方案,就能让系统来实施相应的任务。通过使用该系统,能够减少集群灾备的工作量和学习成本。TDH集群灾备系统使用Spring Boot框架开发后端服务器,使用MySQL数据库存储数据,在开发中使用Gradle管理依赖和构建项目。系统对TDH集群中的HDFS、Hyperbase和Inceptor进行数据备份。系统后端主要分为配置管理模块、方案管理模块、任务管理模块、HDFS同步模块、Hyperbase同步模块和Inceptor同步模块六个模块。本文给出了系统的总体需求分析和设计,描述了HDFS、Hyperbase和Inceptor的灾备任务流程,对各个主要模块的设计和主要功能的实现进行了介绍。目前该系统已经处于预生产阶段,在部门内部进行了使用,并在客户提供的环境中进行了测试。系统性能稳定,能满足用户对TDH集群中部分工具的灾备需求。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码助手 ，原文地址：https://m.bishedaima.com/lunwen/54783.html
