分散计算环境下任务管理与资源监控技术的研究与实现
这是一篇关于分散自组织网络,资源监控,任务管理,加权分簇,Gossip算法,异常检测,任务调度与执行的论文, 主要内容为分散计算是近几年提出的一种新型计算范式,其目的是利用资源受限的节点构建去中心化、自组织的移动通信网络,使若干移动节点形成计算有机体,统筹利用节点资源协同计算任务。本文研究的分散自组织网络是以分散计算为背景的网络模型,本文重点研究该网络模型下的资源监控技术和基于资源监控的任务管理技术。基于对现有资源监控技术和任务管理技术的研究,本文设计实现了分散自组织网络环境下的资源监控子系统和任务管理子系统,分别解决了分散自组织网络环境下资源状态感知困难和任务协同计算复杂等问题。论文将着重论述资源监控和任务管理技术的设计与实现。在资源监控方面,首先针对分散自组织网络去中心化、自组织的特点,本文提出了分簇资源监控逻辑结构。其次,结合现有分簇算法的不足,提出适合分散自组织网络的加权分簇算法,通过仿真测试,验证了提出的分簇算法能够提高网络的稳定性和扩展性。基于提出的加权分簇算法,完成簇首选举和节点入簇,构建稳定高效的分簇结构,同时设计实现备用簇首机制、簇首更换机制以及节点动态维护机制等维持分簇结构的相对稳定。然后,设计实现资源数据采集模块,完成对节点的资源数据采集工作。最后设计实现增量更新的簇内数据同步机制和基于改进的Gossip算法的簇间数据同步机制实现资源数据在簇内和簇间的同步。通过分析传统的Gossip算法存在的冗余问题及冗余原因,对传统的Gossip算法进行了改进。通过仿真测试,分析消息冗余度以及数据同步周期等指标验证了改进的Gossip算法能够提高数据同步效率,减少数据同步冗余。经过对资源监控子系统的测试,结果显示分散组织网络能够有效构建稳定的分簇监控结构,资源采集实现与数据同步实现能够保障计算节点间的资源数据有效感知与共享。在任务管理方面,首先针对分散自组织网络去中心化、自组织的特点,设计去中心化的任务管理架构。其次,设计任务统一动态管理方案,提出基于Java注解技术的任务注册机制,基于此设计任务可视化管理平台实现对不同任务的统一动态管理。然后设计了任务调度、任务执行以及任务监控方案,将任务“调度过程”与任务“执行过程”进行解耦,基于资源监控系统提供的资源数据,设计实现DAG工作流任务的解析、调度、执行、监控。最后本文设计了任务调度执行高可用方案。一方面,通过基于Raft协议的选举机制对调度器出现故障的任务的调度权进行抢占,保障任务调度的高可用性;另一方面,设计了任务失败重试机制解决任务运行超时、执行器故障以及最终任务执行失败等问题。经过对任务管理子系统的测试,结果显示系统较好地满足任务管理的需求,达到了设计目标。
大数据管理实验平台资源管理系统设计与实现
这是一篇关于大数据管理实验平台,资源管理,资源监控,资源预警,资源调度的论文, 主要内容为为了保证大数据实验管理平台的稳定性,防止学生做实验时出现不同物理主机的工作负载差异较大,造成实验平台资源利用率较低、负载不均衡等问题,需要通过有效的方式对平台中的各类资源进行管理,提高资源利用率。通过对平台各项资源进行监控与调度,设计了一个大数据管理实验平台资源管理系统,主要用于教学模式下,学生用户进行大数据实验的场景。该系统主要包括了集群管理模块、分级细粒度资源监控模块、系统资源调度模块。集群管理模块主要是为用户提供方便的集群管理相关功能。分级细粒度资源监控模块是对物理主机、虚拟机的资源监控以及学生用户的监控,用户监控包括学生用户资源的监控以及学生用户行为的监控。系统资源调度模块中设计了不同场景下的资源调度策略,通过资源预警触发资源调度,包括:虚拟机初始放置、虚拟机资源调整、以及虚拟机迁移三个方面。采用了基于多维度资源装填的虚拟机初始放置算法,为虚拟机选取最为合适的宿主节点。设计了虚拟机资源调整策略以及资源预警下基于权值的双阈值虚拟机迁移策略,在不同的资源分布情况下,选取相应的调度策略进行资源的调度。实验结果验证了资源调度过程中,虚拟机初始放置、虚拟机资源调整以及虚拟机迁移调度策略的有效性。通过资源的调度,提升了各物理节点的资源利用率,最终实现了各个物理节点的负载均衡。
基于OpenStack的数据库课程实训平台的设计与实现
这是一篇关于实训平台,多种数据库,自动化部署,资源监控的论文, 主要内容为随着在线实训形式的兴起,近年来出现了一些数据库课程实训平台,并发展为一种重要的实践教学工具。但这些平台存在着不足:第一,不能支持异构数据库、分布式事务与存储等数据库实训新题型;第二,不支持题目所需实训环境部署的自动化;第三,资源监控粒度在虚拟机级而无法实时感知不同数据库应用资源的消耗情况,且对用户实训环境的异常处理能力不够。针对这些不足,设计开发了一个用于数据库课程的实训平台。首先选择将Open Stack平台创建的虚拟机作为这些题型实训环境部署的载体,对Open Stack中的Horizon组件进行改写,面向多种题型,设计实现了统一的虚拟机管理策略,该策略能够根据题型从虚拟机资源池中获取相应数量的虚拟机,从而能够支持包括新型题型在内的各种题型所需实训环境的部署。其次通过Ansible部署工具设计各类题型实训环境的自动化部署任务,并通过文件分块并发传输优化Ansible默认的大文件传输过程,通过对部署任务的拓扑排序解决任务之间的依赖关系,实现部署任务的并行执行,缩短部署的时间。同时,设计了各类题型实训环境初始化所用脚本的格式与生成的方案,使得实训环境能够按照题目描述自动初始化。并且设计实现了多种题型的用户作答处理流程,支持用户通过jar文件操纵多个节点完成分布式事务等题型作答,通过Python编程语言完成异构数据库等题型作答。最后,通过在构建的进程中执行用户作答,并从/proc文件系统中获取此进程的资源情况,从而实现了进程级细粒度的用户答题资源监控。同时,通过采样算法定期获取执行进程的资源使用情况,来处理涉及大数据量的用户作答。针对用户实训环境异常,实现了虚拟机状态异常与数据库异常的检测与处理,及其用户网络中断重连后的数据恢复。经过实验验证该实训平台能够支持多种实训题型,对每种题型,实训平台都能够正确处理用户的作答,并给出作答资源监控结果,并且能够检测恢复数据库异常等实训环境异常。平台能够支持多个用户同时并发实训,能够满足一般班级实训的需求。
企业云管理系统资源监控模块的设计与实现
这是一篇关于IaaS,资源监控,JMX,RRD,Flex的论文, 主要内容为本文对IaaS进行了研究和分析,并在此基础上设计和实现了企业云管理系统的资源监控模块,为用户提供云基础设施及应用程序管理和监控的智能化和人性化的解决方案。云计算按服务类型可以分为三类:IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)。IaaS提供商VMware,为企业用户提供强大的虚拟基础设施服务,但VMware在弹性管理、自动部署、资源监控等方面并没有提供一个智能化、人性化的解决方案。企业云管理系统针对VMware云平台进行应用开发,为云基础设施及应用程序的弹性管理、自动部署、资源监控提供一种基于软件的轻量级解决方案。 本文的主要工作有,(1)对VMware云平台的特点进行了研究和分析,提出了“部署单元”的概念,通过对部署单元进行统一部署、管理、监控和分析,实现云基础设施和应用程序的弹性管理、资源监控等。(2)采用Spring、Hibernate和Flex结合的框架,设计和实现了企业云管理系统的资源监控模块,系统结构清晰,可扩展性强,维护方便。(3)设计了资源监控的数据采集引擎,使用JMX对运行在基础设施中的应用程序进行数据采集。(4)使用RRD环状数据库存储采集的数据,利用RRD生成的数据监控图,并呈现给用户。 本文的主要贡献包括,(1)提出了一个对云基础设施及应用程序进行资源监控的智能化、人性化解决方案。(2)提供了可灵活配置的数据监控规则,对基础设施中的应用程序所消耗的资源和应用程序的运行状况进行高效的监控。(3)为用户提供美观的数据监控图,方便用户直观地掌握资源使用情况。(4)提供了个性化的自定义集中监控面板,用户可以对监控面板进行自定义,在监控面板中对监控图进行分类,以形成高效的集中监控。 本文依照软件工程的开发流程和规范,设计和实现了企业云管理系统的资源监控模块。目前本系统已经基本完成开发,并进行了试运行,效果比较理想。资源监控模块为用户提供了灵活的监控规则配置、美观的数据监控图、便捷高效的监控面板,体现了较好的应用价值。
企业云管理系统资源监控模块的设计与实现
这是一篇关于IaaS,资源监控,JMX,RRD,Flex的论文, 主要内容为本文对IaaS进行了研究和分析,并在此基础上设计和实现了企业云管理系统的资源监控模块,为用户提供云基础设施及应用程序管理和监控的智能化和人性化的解决方案。云计算按服务类型可以分为三类:IaaS(基础设施即服务)、PaaS(平台即服务)、SaaS(软件即服务)。IaaS提供商VMware,为企业用户提供强大的虚拟基础设施服务,但VMware在弹性管理、自动部署、资源监控等方面并没有提供一个智能化、人性化的解决方案。企业云管理系统针对VMware云平台进行应用开发,为云基础设施及应用程序的弹性管理、自动部署、资源监控提供一种基于软件的轻量级解决方案。 本文的主要工作有,(1)对VMware云平台的特点进行了研究和分析,提出了“部署单元”的概念,通过对部署单元进行统一部署、管理、监控和分析,实现云基础设施和应用程序的弹性管理、资源监控等。(2)采用Spring、Hibernate和Flex结合的框架,设计和实现了企业云管理系统的资源监控模块,系统结构清晰,可扩展性强,维护方便。(3)设计了资源监控的数据采集引擎,使用JMX对运行在基础设施中的应用程序进行数据采集。(4)使用RRD环状数据库存储采集的数据,利用RRD生成的数据监控图,并呈现给用户。 本文的主要贡献包括,(1)提出了一个对云基础设施及应用程序进行资源监控的智能化、人性化解决方案。(2)提供了可灵活配置的数据监控规则,对基础设施中的应用程序所消耗的资源和应用程序的运行状况进行高效的监控。(3)为用户提供美观的数据监控图,方便用户直观地掌握资源使用情况。(4)提供了个性化的自定义集中监控面板,用户可以对监控面板进行自定义,在监控面板中对监控图进行分类,以形成高效的集中监控。 本文依照软件工程的开发流程和规范,设计和实现了企业云管理系统的资源监控模块。目前本系统已经基本完成开发,并进行了试运行,效果比较理想。资源监控模块为用户提供了灵活的监控规则配置、美观的数据监控图、便捷高效的监控面板,体现了较好的应用价值。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码货栈 ,原文地址:https://m.bishedaima.com/lunwen/47616.html