基于云原生的数据采集平台的设计与实现
这是一篇关于数据采集,微服务,容器,云原生的论文, 主要内容为近年来,随着科学技术的不断发展,物联网跨过了艰难的概念普及阶段并且备受各个行业推崇,物联网平台变得越来越重要,多家互联网公司纷纷投入其中并且推出了自家的物联网平台产品。从功能性和非功能性角度来看,相关平台产品接入设备种类繁杂,附加学习成本高,传统工业化企业应用困难。如何保证工业设备实时接入、实时采集传输与存储数据、简化平台部署流程、提高平台的可靠性、改进传统单体架构的不足仍然是当前物联网产品需要考虑的问题。本文选题来源于实际的某企业项目,针对当前项目中存在的代码复杂、可扩展性差、代码耦合度高等功能性与非功能性问题,设计并实现了一个基于云原生的数据采集平台。该平台通过网络应用程序框架与消息中间件进行实时数据采集与传输,并将采集到的数据保存到时序数据库中,采用容器与微服务技术对平台功能进行拆分与打包,然后对这些打包后的功能进行部署、编排与调度。平台实现了数据实时采集、传输与存储的功能并解决了单点故障、部署过程繁琐、可靠性低、程序之间耦合度高的问题。具体来说,本文主要工作如下:(1)设计项目整体架构和数据采集框架。基于云原生理论与技术,根据系统功能需求,改进传统单体架构,设计基于云原生的系统架构。通过对比国内外相关领域开源项目的优缺点,对项目进行技术选型,采用Netty网络应用程序框架创建数据接入服务对数据进行实时接入并对Netty框架进行了优化。给出了基于同期数据的LOF算法,对时序数据进行异常检测。实现数据解析功能,对接入的非结构化数据进行统一处理。通过Pulsar消息中间件进行数据传输,设计数据库表并将Pulsar传输的数据保存到Influx DB开源时序数据库中,保证数据实时接入、传输与存储。(2)设计并实现项目的功能模块。设计系统各个功能模块的数据库表,实现各个功能模块的功能,采用微服务技术将系统按照功能模块拆分为多个独立自治的微服务,降低各个功能之间的耦合度,简化整个系统,提高系统的可靠性与可用性。针对原有项目中存在的部署流程繁杂、部署任务耗时、单点故障等问题,采用容器技术简化平台部署流程,实现平台的快速部署,提升交付效率。当平台服务出现故障时,借助容器编排技术快速发现问题并对服务进行水平扩展。(3)在实际的云上环境中部署基于云原生的数据采集平台,对系统进行功能性测试和非功能性测试。验证各个功能模块的正确性,测试系统是否满足性能要求、系统是否满足可靠性要求以及使用的异常检测算法是否对功能有所改进。经过测试,系统各个功能模块运行正常,业务功能无误,数据能够实时接入并存储到数据库中,系统可以长期稳定运行,能够满足某企业需求。
基于微服务化电子商务平台的云容器部署研究与应用
这是一篇关于微服务,容器,多目标,资源利用率,能耗的论文, 主要内容为随着软件体系结构的快速发展,传统的单体架构很难支持当今社会的软件开发应用。自Docker问世以来,微服务也得到了快速的发展,企业、组织等纷纷使用微服务架构进行开发。通过微服务架构体系思想将电子商务平台进行微服务化拆分,能够有效的降低不断迭代开发带来的复杂度。同时使用Docker为微服务化电子商务平台做云容器部署,更能够简化部署的过程,提供良好的隔离机制。为了管理数以万计的容器应用,各种容器编排框架应运而生,其中,容器调度过程中带来的能耗高、资源利用率低等问题非常显著。研究合理的容器放置能有效的减缓此类问题。为了研究上述内容,本文以电子商务平台为背景,针对其架构与容器技术目前存在的一些问题,完成了以下的工作:(1)综述了微服务架构以及研究了微服务之间的通信、服务部署以及服务发现等内容,并详细介绍了Docker容器技术,对Docker作了简单的介绍,包括Docker容器的功能与组件等。然后分析了Docker优点,为什么Docker与微服务架构如此契合。介绍了目前流行的容器编排部署技术。(2)针对目前容器编排框架或技术在微服务化应用的容器编排过程中没有考虑容器镜像复用以及只考虑CPU能耗的问题,本文依据容器基础镜像可共享这一理论基础,同时以CPU、内存和带宽三个资源目标为容器选择放置的因素,提出一个基于镜像复用的多目标资源容器放置算法予以解决目前微服务化应用容器编排存在的问题。(3)针对单体架构已不能满足电子商务平台需求的问题,设计出一套微服务架构体系的电子商务平台,然后对平台进行容器化部署。首先对电子商务平台进行微服务的拆分,接着建立电子商务平台的微服务架构,然后对电子商务平台进行容器化,最后基于镜像复用的多目标资源容器放置算法对电子商务平台的容器进行了部署。(4)实验分析了电子商务平台的容器通过基于镜像复用的多目标资源容器放置算法部署到云容器的资源消耗情况。验证了该策略能够在云环境中为电子商务平台提供支持。本文通过对微服务架构、容器化部署和容器放置算法的研究,并在电子商务平台上进行应用,将有助于电子商务平台的发展。
基于微服务架构的教育发布与管理平台
这是一篇关于教育服务,微服务,前后端分离,容器,知识图谱的论文, 主要内容为在互联网+教育的背景下,越来越多的在线教育服务产品涌向市场,但是传统的教育服务产品在业务和技术方面存在很大的不足。在业务方面,传统的教育服务平台功能单一,没有形成独立的教育服务生态体系,所以在教育垂直领域,并没有一站式的教育服务平台出现。在技术方面,由于功能单一,所以企业一般都是采用管理相对简单的单体架构进行实现,后期随着业务的扩展、功能的迭代和团队人员的增长,项目开发和管理的难度也会成指数级增长。本文针对上述问题,在业务上,提供一站式的教育服务,打造独立且完善的教育生态体系;在技术上,按照“大中台,小前台”的设计理念进行架构设计,前端采用React Native混合移动应用开发框架,后端采用基于Spring Cloud的微服务架构进行设计,从而使系统具备灰度发布、高内聚、模块化、高可用、易伸缩、管理扁平等特点。基于CAAS(容器即服务)的理念,本文结合容器技术实现系统自动化运维、结合云计算技术实现系统弹性云扩容,在此基础上实现一个企业级的在线教育服务云平台。首先,本文对系统需求做了全面的分析,结合微服务的特点完成了系统服务模块的粒度化拆分。对系统中涉及的关键分布式技术进行了深入的研究,并结合系统的实际需求进行了优化,包括结合系统的业务特点构建了一套分布式全局唯一性序号生成器、优化了分布式锁和单点登录的实现方案、实现了一套MySQL和ElasticSearch数据同步方案、改进了基于一致性HASH算法的负载均衡策略。然后,针对系统的下一步优化工作,提出了一种融合知识图谱的协同过滤推荐算法。仿真验证结果表明,融合知识图谱可以在一定程度上弥补传统协同过滤算法在语义信息上的不足,该算法在准确率、召回率和F值三个方面均表现出更好的性能,可以在一定程度上缓解数据疏松和冷启动问题。最后,完成了系统各服务模块功能的实现和容器化部署,并对功能进行了验证。从结果来看,系统的功能达到了预期的效果。
容器云环境下实时多工作流弹性调度方法研究
这是一篇关于任务调度,容器调度,容器,云计算,微服务的论文, 主要内容为云计算是当前我国新型基础设施的重要组成部分,其应用领域涉及制造、教育、交通、医疗等诸多行业。随着5G等新一代信息技术的发展,飞速增长的用户需求产生了大量的请求工作流,如何对工作流进行快速调度并减少成本成为云服务提供商亟需解决的问题,基于微服务和容器技术搭建的容器服务云平台成为其解决方案。任务调度和容器伸缩是构建容器服务云平台的关键技术,其将工作流中的任务调度到相应容器执行,并根据需求对容器进行伸缩,进而提高执行效率并降低成本。当前已有部分研究人员对任务调度及容器伸缩技术进行了探索研究。然而,现有研究工作尚且存在以下不足之处:1)现有工作流调度算法大多围绕静态单工作流展开,没有考虑实时多工作流的处理,忽略了工作流的动态特征和多工作流执行时间的不确定性,导致其超出了工作流的截止日期并增加了执行成本。2)现有容器调度算法大多只考虑CPU或内存等单一因素,忽略了容器镜像的拉取时间、容器与虚拟机节点的关系、不同容器间的执行关联等因素,导致资源利用率过低、服务质量差。针对以上问题,本文对云平台中任务调度和容器伸缩的相关理论技术进行深入研究,提出了基于容器的实时多工作流弹性调度方法和基于多目标优化的容器调度方法,在任务紧迫度高的情况下提升了调度算法的成功率,降低了资源租用成本。本文的主要工作及贡献如下:针对工作流的动态特征和多工作流执行时间的不确定性问题,本文将任务池和就绪队列加入微服务的任务调度中,通过其来协调就绪任务和后续等待任务,减少当前任务执行时间波动对后续任务的影响,降低实时多工作流的不确定性;提出一种将微服务的任务调度与容器伸缩相结合的方法,该方法采用一种基于紧迫性的启发式任务调度算法,考虑了容器镜像对任务执行的影响,确定调度方案以及所需容器的类型和数量,为容器部署提供支持。仿真实验结果表明,本文提出的工作流调度算法ESRW比同类算法ESMA和Pro Li S平均降低25.9%的资源租赁成本。针对现有容器调度算法考虑因素单一导致成本过高、服务质量差等问题,本文考虑影响容器性能的六个关键因素:容器间的关联性、容器和节点之间的关联性、节点拉取容器镜像时间、节点中容器数量、CPU和内存利用率,提出一种基于多目标优化的容器调度方法。该方法对这些因素分别建立评分函数,结合TOPSIS算法,为容器找到最合适的节点部署,降低了资源租用成本,提高了应用程序的服务质量。仿真实验结果表明,本文提出的容器调度算法MOCD与同类的Spread算法和Random算法相比,平均减少了9.7%的调度时间,并使容器集群的最大TPS增加了12.5%,在有效减少容器部署时间的同时提高了容器内微服务的执行效率。本文将以上提出的改进算法应用到容器服务云平台中,设计并实现了Kubernetes调度器组件,并将其集成到Kubernetes集群中,对集群中部署的服务进行调度管理,证明了所提方案的可行性和系统的实用性。
基于Docker微服务通信框架的RME算法研究
这是一篇关于容器,安全,加密算法,解密算法,微服务的论文, 主要内容为在云计算蓬勃发展之际,通信方面的应用也愈加广泛。其中,点对点通信模式的应用更是层出不穷。然而在这种点对点网络中进行数据传输时,安全性一直是通信双方关注的重点。针对数据传输安全的问题,在实际研究中多用加密算法来保证数据的安全。因此本文从加密算法作为切入点,经过对比发现,对称加密算法加密效率更高,更适合点对点通信中大量数据的加密传输。因此,本文选择对加密速度极快的Advanced Encryption Standard(AES)和经过三次加密提高了加密级别、平均安全时间的Triple Data Encryption Standard(3DES)做了深入研究。然而,在实际应用中,各类基于加密算法的通信应用在安装部署时常常面临复杂的主机环境,而通信双方主机硬件环境的差异将会影响相关应用安装部署的效率。经过研究发现Docker容器可以通过提供轻量级镜像来简化应用软件的安装部署。进一步Docker可以通过将微服务定制为相关通信服务的应用镜像来实现持续集成、交付和部署。因此,本文对Docker容器技术和微服务技术做了深入研究,两者的结合能够为本文所关注的应用高效部署问题提供更加成熟的解决方案。为了解决点对点网络中数据传输的安全问题和应用部署的效率问题,本文提出以下方案:(1)为了提高点对点网络中数据传输的安全性,本文在整合AES和3DES算法优势的基础上,创新性地提出一个新的RME(Randomly Mix Encryption)算法。首先,在传送端将数据和随机生成的随机字符串进行混合操作;其次,按照约定的规则对混合数据进行分割操作,并得到两个混合数据;第三,对于分割后的混合数据,一部分由AES加密,另一部分由3DES加密,两者各自产生密文。最后,合并这两个部分的密文,发送到接收端,以RME算法解密。在加密过程中,随机字符串的加入以及按照约定规则进行分割的操作对明文而言增加了安全性;然后,AES和3DES对分割后的混合明文分别加密则增加了明文的加密级别。(2)为了保证相关通信应用在不同主机环境的高效和安全部署,本文提出一个基于RME算法的微服务通信框架MCR(Microservice Communication Framework Based on RME Algorithm)。整体而言,MCR通过加密和解密微服务容器对明文数据依次执行RME算法加密、SSH传输和RME算法解密等操作,实现对数据的点对点高效与安全传输。(3)为实现不同数据的需求,在MCR框架加密模块中弹性调整加密算法RME、AES和3DES等算法进行测试和评估。结果显示MCR(RME)对系统资源的占用要小于MCR(AES)等其它的框架,同时有更高的安全性和加解密效率。
基于Knative的Serverless平台函数管理模块的设计和实现
这是一篇关于Serverless,Knative,微服务,容器,Kubernetes的论文, 主要内容为Serverless是指开发者在开发和部署应用时无需关注基础设施,只需要关注业务逻辑的开发。目前主流的云服务提供商基本都有自己的Serverless产品,但是公有云服务提供商的Serverless产品通常具有平台绑定、服务形态缺乏标准化的缺点,导致使用不同云服务提供商的Serverless服务编写的应用难以在不同平台间迁移。Google开源的Knative旨在解决Serverless产品缺乏标准化的问题,提供了一组中间件组件用于构建以源代码为中心的、基于容器的应用程序并支持在多种环境运行,为标准化Serverless平台的开发提供了便利。本文基于Knative开发了一个Serverless平台产品,为开发者提供了函数的构建、发布和事件触发等函数管理服务,提升了开发效率和降低了运维成本。在技术选型方面,采用微服务架构,主要以Java语言进行开发,微服务使用容器化方式发布,服务治理使用服务网格框架Istio。函数的构建功能主要使用Docker来实现,在事件触发模块使用了Active MQ来进行应用解耦和流量削锋。在内容结构方面,首先介绍了Serverless平台项目的背景和意义,随后对本文涉及的相关技术进行了概述,如Knative、Docker、Kubernetes、Istio和Active MQ等。然后对Serverless平台进行了需求分析和概要设计,介绍了平台的主要功能和架构。接着在需求分析和概要设计的基础上,选取构建、发布、事件触发三个函数管理模块进行了详细设计和实现,并进行了系统测试。最后基于Serverless平台项目的情况对全文进行了总结和展望。目前Serverless平台已经在企业内部投入使用,支持部分算法模型和前端应用开发,有效提升了开发部署效率,降低了运维成本。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设客栈 ，原文地址：https://m.bishedaima.com/lunwen/45177.html
