面向企业管理平台会话系统后端的设计与实现
这是一篇关于微服务,Docker,Node.js,Engine.io,Protobuf,Zookeeper的论文, 主要内容为随着社会信息化技术的不断发展,如今社会是一个互联网的时代,互联网的发展改变了很多人解决问题的方式。从繁琐的书信交流,到便捷的网络聊天,互联网正在不断影响着人们沟通的方式。互联网的出现不仅破除了企业经营中的地理边界和信息交流障碍,还间接为企业管理者提供了更加细致、强力的管理手段,企业管理信息系统应运而生。但是现在市场上的一些个人通讯软件或者第三方企业即时通信平台在可用性和安全性方面无法完全满足企业管理需求。本文所介绍的会话系统是基于企业管理系统,在解决企业内部问题时,面向不同的发布、事务、人员提供基于工作上下文的群组或私人的会话聊天服务。本文主要工作是会话系统后端的设计与实现,该系统能使用户快速共享大量信息,大幅提高用户工作效率,给用户的工作提供了便利。本文的主要工作如下。1.介绍了系统中所用技术,该系统总体采用前后端分离的架构,后端总体采用微服务架构和Node.js平台,对外提供socket连接和http数据访问接口。此系统间用socket传递消息,能有效地处理高负荷的信息吞吐,避免发生消息阻塞,消息的收发效率高、网络占有率较低、安全性好。2.介绍项目总体规划,明确系统需求并需求分析,阐述了项目总体设计,并分别介绍Client、Connector、Backend、Sever、集群管理模块的详细设计,并对系统的总体结构、数据表和缓存进行了详细设计。3.介绍Client、Connector、Backend、Sever、集群管理模块的实现,展示代码并阐述具体实现,阐述了核心技术使用情况并展示了界面效果。4.总结了该系统的待改进之处以及进一步的工作展望。本系统现已在公司项目“超级账号”教育板块上线。“超级账号”教育板块现给南京大学软件学院学生使用,功能包括课程信息管理,课程活动管理如开课,选课等。该系统稳定运行,实际运行效果基本符合用户需求,用户反馈良好。
基于WebGIS的时空信息平台的设计与实现
这是一篇关于WebGIS,OSGi,SOA,RESTful,Zookeeper,时空信息平台的论文, 主要内容为随着我国城市化进程的推进,越来越多的城市问题凸显了出来。为了解决这些城市问题,我国国家测绘局发布了“关于开展智慧城市时空信息云平台建设的通知”,从而正式把智慧城市时空信息云平台建设作为大力推广的建设试点项目。本文通过对比之前数字城市的应用以及一些已有的智慧城市的成果,设计并实现了基于WebGIS的时空信息平台。由于时空信息平台所涉及的内容和部门较多,所以在研究了多个不同的框架和技术之后,平台采用OSGi(开放服务网关协议)技术作为底层框架,利用SOA架构与OSGi技术相融合实现组件按需开发,提高了软件开发效率,缩短了软件开发周期,节约了劳动成本。通过RESTful服务实现资源的访问。通过Zookeeper实现分布式协调服务。通过PostgreSQL数据库存放数据。在上述技术的基础上结合ArcGIS、ArcGIS Api for Javascript技术开发地理信息基础平台,便于快速开发满足业务需求的基于WebGIS的时空信息平台。平台采用Maven、Vue和OSGi等技术设计了时空信息平台。该平台包括运维管理、云资源管理和首页展示三个部分,其中运维管理包括人员管理、新闻管理、目录管理、审核管理、二次开发、信息反馈和后台管理;云资源管理包括群组管理、资源管理、资源注册和审核管理;首页展示中包括个人中心、电子地图、新闻公告、资源应用和开发中心。通过这个平台方便了不同部门之间的交流,同时在一定程度上解决了“信息孤岛”的问题。
基于HBase的路面影像数据库构建与应用研究
这是一篇关于公路养护,Hadoop,HBase,二级索引,Zookeeper,影像数据库的论文, 主要内容为我国公路管理正逐渐从过去以建设为主向以养护运营管理为主过渡,逐步开启了公路的智能养护管理的新时代。路面影像能够全面直观反映公路的养护状况,是公路信息化管理的基础数据,也是路面技术状况分析与评价的核心数据,在智能养护领域不可或缺。由于路面影像数据量大、更新调用频繁,给数据的存储、组织、管理、检索与服务带来了巨大的挑战,因此路面影像数据的高效组织与服务已成为智能养护信息化领域的技术关键。本文基于HBase大数据技术,针对道路路面影像的特点,研究提出了路面影像分布式数据库原型系统,实现了路面影像数据的高效组织和服务,支撑辽宁公路信息化管理平台,实现了公路空间矢量数据、属性数据和路面影像数据的无缝整合,支撑养护管理数据、路况评价信息的可视化表达,提升了公路养护部门的信息化水平和科学决策能力。论文主要研究内容如下:(1)对路面影像数据及现行的公路信息化平台进行了分析,提出使用基于分布式文件系统的非关系型数据库系统来实现路面影像数据管理的技术路线,在对比分析了9种主流的分布式文件系统后,采用基于Hadoop并行计算框架的分布式数据库HBase,利用它提供的Get、Put、Scan和Delete等功能在HBase API的基础之上进行二次开发,实现路面影像数据精准的增删改查功能。(2)搭建了HBase分布式数据库集群。采用Zookeeper+Hadoop+HBase+JDK技术路线,研究提出了HBase分布式数据库优化策略,对HBase读写性能影响最大的KeyValue值进行了实验,确定了吞吐率、延迟以及平均运行时间的最优值范围;研究了二级索引的理论与方法,提出了基于哈希索引算法、逆序算法以及RowKey散列化算法,结合数据库表共同构成了列二级索引,将单条数据的读取性能提升到毫秒级。(3)基于Spring Boot框架、HBase API以及相关Java代码编写实现了路面影像的自动化读写微服务接口,为影像数据批量入库、批量读取以及数据管理提供支持,成果最终应用到“辽宁省公路大数据基础管理平台”与“路面病害检测云平台”中,取得了良好的效果。该论文有图27幅,表10个,参考文献56篇。
基于HBase的路面影像数据库构建与应用研究
这是一篇关于公路养护,Hadoop,HBase,二级索引,Zookeeper,影像数据库的论文, 主要内容为我国公路管理正逐渐从过去以建设为主向以养护运营管理为主过渡,逐步开启了公路的智能养护管理的新时代。路面影像能够全面直观反映公路的养护状况,是公路信息化管理的基础数据,也是路面技术状况分析与评价的核心数据,在智能养护领域不可或缺。由于路面影像数据量大、更新调用频繁,给数据的存储、组织、管理、检索与服务带来了巨大的挑战,因此路面影像数据的高效组织与服务已成为智能养护信息化领域的技术关键。本文基于HBase大数据技术,针对道路路面影像的特点,研究提出了路面影像分布式数据库原型系统,实现了路面影像数据的高效组织和服务,支撑辽宁公路信息化管理平台,实现了公路空间矢量数据、属性数据和路面影像数据的无缝整合,支撑养护管理数据、路况评价信息的可视化表达,提升了公路养护部门的信息化水平和科学决策能力。论文主要研究内容如下:(1)对路面影像数据及现行的公路信息化平台进行了分析,提出使用基于分布式文件系统的非关系型数据库系统来实现路面影像数据管理的技术路线,在对比分析了9种主流的分布式文件系统后,采用基于Hadoop并行计算框架的分布式数据库HBase,利用它提供的Get、Put、Scan和Delete等功能在HBase API的基础之上进行二次开发,实现路面影像数据精准的增删改查功能。(2)搭建了HBase分布式数据库集群。采用Zookeeper+Hadoop+HBase+JDK技术路线,研究提出了HBase分布式数据库优化策略,对HBase读写性能影响最大的KeyValue值进行了实验,确定了吞吐率、延迟以及平均运行时间的最优值范围;研究了二级索引的理论与方法,提出了基于哈希索引算法、逆序算法以及RowKey散列化算法,结合数据库表共同构成了列二级索引,将单条数据的读取性能提升到毫秒级。(3)基于Spring Boot框架、HBase API以及相关Java代码编写实现了路面影像的自动化读写微服务接口,为影像数据批量入库、批量读取以及数据管理提供支持,成果最终应用到“辽宁省公路大数据基础管理平台”与“路面病害检测云平台”中,取得了良好的效果。该论文有图27幅,表10个,参考文献56篇。
基于Zookeeper的大数据处理调度系统的设计与实现
这是一篇关于大数据处理,任务调度,分布式系统,Zookeeper,有向无环图的论文, 主要内容为随着大数据时代的到来,如何对海量数据进行处理、分析,从而获取商业价值,已经成为了越来越多公司重点关注的问题,同时也给任务调度带来了不少挑战。首先,在大数据处理中,由于数据处理量极大,单机处理会给企业带来巨大的时间成本;其次,在单个数据处理的工作流中,可能存在工作流内部各个任务之间有上下游依赖的情况,如果仅通过传统的定时任务库如Quartz来处理,则十分麻烦,难以掌控;另外,虽然有诸如Airflow的调度系统利用了有向无环图的概念来构建工作流,但是因为其构建需要通过编程来实现,又形成了较高的使用门槛。针对以上大数据处理任务调度中的问题,以及考虑到实习公司在数据处理中调度规模的使用情况,单工作流可包含上百个任务,日均调度量十万级,因此,设计并实现了一款任务调度系统。采用多Master多Worker分布式系统架构,创建工作流时采用了可视化有向无环图的方式,这两个特点分别能够大幅缩短数据处理的用时以及降低使用门槛。此分布式系统基于分布式协调框架Zookeeper构建,实现了高可用性,保证在系统内,部分组件失效时仍然能够执行任务。由于许多场景下数据处理需要定时进行,因此基于Quartz实现了对定时任务的支持。任务调度系统的Web前后端分别是基于Spring Boot框架以及Vue.js前端框架实现,实现了对工作流的管理以及对任务执行日志的查看功能,为运维工程师和应用开发者提供了易于使用的交互界面。任务调度系统在实现对数据处理任务进行调度的基础上,吸取了分布式系统的可扩展性优势,以及采用可视化图模型的表达力和表现力强的优势,使得用户可以更容易的对大数据任务处理进行调度,满足了实习公司在对海量数据进行处理时,对调度系统的功能和性能需求。
面向企业管理平台会话系统后端的设计与实现
这是一篇关于微服务,Docker,Node.js,Engine.io,Protobuf,Zookeeper的论文, 主要内容为随着社会信息化技术的不断发展,如今社会是一个互联网的时代,互联网的发展改变了很多人解决问题的方式。从繁琐的书信交流,到便捷的网络聊天,互联网正在不断影响着人们沟通的方式。互联网的出现不仅破除了企业经营中的地理边界和信息交流障碍,还间接为企业管理者提供了更加细致、强力的管理手段,企业管理信息系统应运而生。但是现在市场上的一些个人通讯软件或者第三方企业即时通信平台在可用性和安全性方面无法完全满足企业管理需求。本文所介绍的会话系统是基于企业管理系统,在解决企业内部问题时,面向不同的发布、事务、人员提供基于工作上下文的群组或私人的会话聊天服务。本文主要工作是会话系统后端的设计与实现,该系统能使用户快速共享大量信息,大幅提高用户工作效率,给用户的工作提供了便利。本文的主要工作如下。1.介绍了系统中所用技术,该系统总体采用前后端分离的架构,后端总体采用微服务架构和Node.js平台,对外提供socket连接和http数据访问接口。此系统间用socket传递消息,能有效地处理高负荷的信息吞吐,避免发生消息阻塞,消息的收发效率高、网络占有率较低、安全性好。2.介绍项目总体规划,明确系统需求并需求分析,阐述了项目总体设计,并分别介绍Client、Connector、Backend、Sever、集群管理模块的详细设计,并对系统的总体结构、数据表和缓存进行了详细设计。3.介绍Client、Connector、Backend、Sever、集群管理模块的实现,展示代码并阐述具体实现,阐述了核心技术使用情况并展示了界面效果。4.总结了该系统的待改进之处以及进一步的工作展望。本系统现已在公司项目“超级账号”教育板块上线。“超级账号”教育板块现给南京大学软件学院学生使用,功能包括课程信息管理,课程活动管理如开课,选课等。该系统稳定运行,实际运行效果基本符合用户需求,用户反馈良好。
面向任务的通用分布式计算系统的设计与实现
这是一篇关于分布式计算,负载均衡,Zookeeper,任务调度的论文, 主要内容为随着信息技术的快速发展,每天都会产生海量的数据,在这种情况下,传统的集中式计算技术已经无法满足海量数据存储和处理的需求。相比于集中式计算,分布式计算技术为处理规模庞大的数据提供了可行的解决方案。分布式计算技术能够将大型的计算任务分解成若干子任务并将其分别分配给其他计算机处理。因此,分布式计算技术在大数据的时代背景下得到了迅猛发展,很多分布式计算系统应运而生。这些分布式计算系统本身面向专业人士,而且在不断地更新和添加新功能后,其结构变得更加复杂,使用者若想使用这些分布式计算系统就必须对系统的结构具有较深的理解,大大增加了使用者的学习难度。而且一些常用分布式计算系统难以适应特殊格式数据处理的需求,使用者只能在对系统进行大幅度的调整后才能进行这些数据的处理。如何解决上述问题就成为了本论文需要研究的内容。本文通过分析分布式计算系统的研究现状,针对分布式计算系统存在的问题,进行了如下的主要工作:1)设计并实现了一种面向任务的通用分布式计算系统。本文研究了Netty,Zookeeper,HDFS(Hadoop Distributed File System,Hadoop分布式文件系统)等相关组件的核心架构设计与基本原理,结合这些组件设计并实现了一个分布式计算系统。在由多台计算机搭建的集群中完成了系统的部署,通过可扩展性测试和性能对比实验证明了系统的可扩展性和可用性。在对比实验中,使用轮询法的分布式计算系统的计算性能比Hadoop提升了约16%。2)设计并实现了一种基于节点处理能力和分布式锁的CLTS(Node Processing Capacity and Distributed Lock Task Scheduling,基于节点处理能力和分布式锁的任务调度)调度算法。本文对分布式计算中常见的多种任务调度算法进行了深入研究,将分布式服务注册与发现机制和节点处理能力的动态反馈机制引入系统的任务调度问题,设计了CLTS调度算法来协调分布式计算系统的任务调度。通过对比实验证明了CLTS调度算法能够较好地适应异构集群的环境,根据节点实际的处理能力进行任务调度。
基于ICE中间件的改进与实现
这是一篇关于中间件,ICE,高可用,负载均衡,Zookeeper,RPC,分布式的论文, 主要内容为在计算机革命的第三次浪潮中,中间件作为核心技术之一,网格计算以及普适计算是中间件的主要前进方向,其中网格计算也被称为“分布式计算”,目的在于对中间件的应用整合能力进行加强;而普适计算旨在扩展中间件到更广阔的应用环境中。ZEROC公司的ICE中间件是一款新型的面向对象的RPC框架,它支持多语言开发,自带了多种服务以应对复杂的应用环境。ICE中间件应用广泛,性能高效,但是在使用中仍然遇到些许问题,通过对ICE的深入研究,论文对ICE中间件做出了以下两点改进:在以ICE内建的多种服务构建的微服务框架中,其中IceGrid是整个框架的核心服务,它为客户端提供位置请求、应用部署、负载均衡等服务,为服务端提供服务管理和服务发现等。当IceGrid服务因一些原因不能提供服务时,整个网络通信会因此发生中断。虽然IceGrid自身实现了高可用,但是采用的是主从模式,并没有实现自动的主从切换,完全靠人工去执行,这严重影响了IceGrid服务的效率。Zookeeper是当下比较热门的分布式协作软件,它的源码是开放的,专门为分布式应用提供一致性的服务。本文首先提出一种基于Zookeeper的IceGrid服务的高可用改进架构,当主节点不能提供访问时,由Zookeeper自动发现,并利用自身的一致性协议,实现IceGrid服务的主从切换。ICE中间件自身实现了几种负载均衡算法来访问服务,但是自带的负载均衡算法仅仅以节点服务器自身的负载信息作为服务选择的度量标准,没有考虑服务器间的性能差异,缺乏全面性,效率也大打折扣。针对原有负载均衡算法的片面性,基于整体服务集群的性能,对原有负载均衡算法提出改进。改进的算法通过计算单个服务器性能占总体集群性能的百分比,并结合CPU使用率等系统信息,综合计算出单个服务器的负载,从中选取负载最小的节点作为处理任务的节点。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码向导 ，原文地址：https://m.bishedaima.com/lunwen/46046.html
