基于AMQP协议的私有云平台消息服务的设计与实现
这是一篇关于AMQP,消息中间件,消息总线,私有云的论文, 主要内容为H3Cloud云计算管理平台是为企业、团体或组织提供基础设施即服务的私有云管理系统,由管理端、门户端及部署在网络不同节点的众多后端服务构成,通过内部组件之间的协作,共同提供虚拟化服务。但随着业务功能扩展,系统已有的通信方式已无法满足云平台不同组件之间越来越复杂的信息交互,急需提供一种服务,将不同组件连接进行解耦,同时可完成不同组件之间的信息交互。本文即通过提供一种基于消息传递机制的消息服务来实现云平台不同组件问复杂的信息通信。云平台管理端和门户端由Java语言开发,通过网页访问的方式为云用户提供创建和管理主机、镜像、硬盘、网络、路由等云资源的服务。在提供这些虚拟化服务时,不同云资源模块会与不同语言开发的后端服务进行信息交互,同时,管理端作为云初始化和资源配置的中心,门户端各模块也会与管理端进行信息交互,为了统一不同组件间的通信方式,提高云平台的可扩展性,需提供一个层,来将不同组件进行集成,基于AMQP协议实现的消息中间件为我们提供了选择,其本身只定义数据传输的格式,交互双方只需按照既定的格式即可完成消息收发,消息服务就是在此基础上构建起来的。本文首先对AMQP消息路由和缓存的原理进行分析,确定云平台在消息中间件中使用的路由算法,同时对云平台不同模块在消息中间件中路由的定义进行规划,设计分布式部署下不同组件通过消息中间件进行消息通信的概要模型。在集中式部署下,由于管理端与门户端共享一套编译环境,若仍通过消息中间件进行消息通信会对网络及资源造成极大浪费,也不便于对消息中间件中声明的路由和队列进行管理,于是对模型进一步抽象,集中式部署下管理端与门户端的交互相当于内部模块与模块之间的异步消息交互,在消息发布/订阅模型的启发下,设计云平台消息总线模型。总线提供这样的服务,门户端与管理端各模块需要通信时,只需将封装的消息发布到总线,总线会将消息推送给订阅此种消息的订阅者,来达到任意模块间均可享受异步消息通信的目的。当集中式部署时,构建一条总线,管理端与门户端之间的通信通过总线传递消息完成；而当分布式部署时,管理端与门户端各自构建属于自己的总线,内部模块通过本地总线进行消息交互,两者之间需要交互时,只需向本地总线注册一个订阅者,此订阅者从总线接收向对端发送的消息,当订阅者收到消息后,便调用与中间件通信接口将消息发送出去,消息中间件通过路由会将消息转发给对端接收,接收者收到消息后又将消息发布到本地总线,总线会将消息推送给真正的消息接收者。此交互过程对调用模块来说完全透明,要发送消息时,只需将消息发布到总线,接收消息时,只需向总线注册消息订阅即可,这是本文的创新点。有了架构模型,然后使用Spring AMQP提供的开发jar包,连接消息中间件、在消息中间件中对路由和队列进行定义,开发与中间件进行消息收发的接口,再使用Akka框架开发高可用的消息总线,具体编码云平台消息服务。最后通过功能测试、代码质量测试及性能测试来确保消息服务的可用性与稳定性,达到为云平台提供完备高效可扩展消息服务的目的。
基于AMQP协议的私有云平台消息服务的设计与实现
这是一篇关于AMQP,消息中间件,消息总线,私有云的论文, 主要内容为H3Cloud云计算管理平台是为企业、团体或组织提供基础设施即服务的私有云管理系统,由管理端、门户端及部署在网络不同节点的众多后端服务构成,通过内部组件之间的协作,共同提供虚拟化服务。但随着业务功能扩展,系统已有的通信方式已无法满足云平台不同组件之间越来越复杂的信息交互,急需提供一种服务,将不同组件连接进行解耦,同时可完成不同组件之间的信息交互。本文即通过提供一种基于消息传递机制的消息服务来实现云平台不同组件问复杂的信息通信。云平台管理端和门户端由Java语言开发,通过网页访问的方式为云用户提供创建和管理主机、镜像、硬盘、网络、路由等云资源的服务。在提供这些虚拟化服务时,不同云资源模块会与不同语言开发的后端服务进行信息交互,同时,管理端作为云初始化和资源配置的中心,门户端各模块也会与管理端进行信息交互,为了统一不同组件间的通信方式,提高云平台的可扩展性,需提供一个层,来将不同组件进行集成,基于AMQP协议实现的消息中间件为我们提供了选择,其本身只定义数据传输的格式,交互双方只需按照既定的格式即可完成消息收发,消息服务就是在此基础上构建起来的。本文首先对AMQP消息路由和缓存的原理进行分析,确定云平台在消息中间件中使用的路由算法,同时对云平台不同模块在消息中间件中路由的定义进行规划,设计分布式部署下不同组件通过消息中间件进行消息通信的概要模型。在集中式部署下,由于管理端与门户端共享一套编译环境,若仍通过消息中间件进行消息通信会对网络及资源造成极大浪费,也不便于对消息中间件中声明的路由和队列进行管理,于是对模型进一步抽象,集中式部署下管理端与门户端的交互相当于内部模块与模块之间的异步消息交互,在消息发布/订阅模型的启发下,设计云平台消息总线模型。总线提供这样的服务,门户端与管理端各模块需要通信时,只需将封装的消息发布到总线,总线会将消息推送给订阅此种消息的订阅者,来达到任意模块间均可享受异步消息通信的目的。当集中式部署时,构建一条总线,管理端与门户端之间的通信通过总线传递消息完成；而当分布式部署时,管理端与门户端各自构建属于自己的总线,内部模块通过本地总线进行消息交互,两者之间需要交互时,只需向本地总线注册一个订阅者,此订阅者从总线接收向对端发送的消息,当订阅者收到消息后,便调用与中间件通信接口将消息发送出去,消息中间件通过路由会将消息转发给对端接收,接收者收到消息后又将消息发布到本地总线,总线会将消息推送给真正的消息接收者。此交互过程对调用模块来说完全透明,要发送消息时,只需将消息发布到总线,接收消息时,只需向总线注册消息订阅即可,这是本文的创新点。有了架构模型,然后使用Spring AMQP提供的开发jar包,连接消息中间件、在消息中间件中对路由和队列进行定义,开发与中间件进行消息收发的接口,再使用Akka框架开发高可用的消息总线,具体编码云平台消息服务。最后通过功能测试、代码质量测试及性能测试来确保消息服务的可用性与稳定性,达到为云平台提供完备高效可扩展消息服务的目的。
大众点评反爬虫系统的设计与实现
这是一篇关于爬虫,拦截,消息总线,Spring,Spring MVC,Storm的论文, 主要内容为随着互联网应用的发展,爬虫技术越来越普及,恶意的或设计实现较差的爬虫,产生大量占用服务器资源、泄露隐私数据等负面问题。反爬虫成为网站管理者的一项重要课题,开发反爬虫系统具有十分重要的作用和意义。本文首先介绍了该系统的项目背景,对爬虫特征和当前爬虫检测技术研究现状进行调研,选用基于特征分析的检测技术检测爬虫,综述了消息总线架构模式、Spring MVC框架、Storm框架和布隆过滤器等技术。本文阐述了反爬虫系统的工作原理,介绍了项目总体规划,确定系统边界,详细分析了系统的功能性需求、非功能性需求和主要处理流程。在此基础上,设计了系统总体结构,划分了功能模块,明确了系统包之间的逻辑关系,确定模块之间的交互流程,给出了系统的部署设计、系统数据的E-R关系,设计了数据库表,分别对消息总线、拦截处理、后台管理和实时计算等模块进行了分析设计,并给出这些模块的具体实现细节和实现结果。该系统根据爬虫的特征,能实时准确地检测爬虫,区分来自正常搜索引擎的爬虫与恶意爬虫,并拦截恶意爬虫。另外该系统采取包括惩罚在内的措施,加速爬虫的识别,提供Web管理页面供网站管理员设置黑白名单,配置拦截规则和计算规则,展示拦截记录的统计信息等。目前该反爬虫系统已在大众点评得到实际的应用,日均拦截量达到千万级,为企业节约了大量服务器资源,保护了企业数据安全。
大众点评反爬虫系统的设计与实现
这是一篇关于爬虫,拦截,消息总线,Spring,Spring MVC,Storm的论文, 主要内容为随着互联网应用的发展,爬虫技术越来越普及,恶意的或设计实现较差的爬虫,产生大量占用服务器资源、泄露隐私数据等负面问题。反爬虫成为网站管理者的一项重要课题,开发反爬虫系统具有十分重要的作用和意义。本文首先介绍了该系统的项目背景,对爬虫特征和当前爬虫检测技术研究现状进行调研,选用基于特征分析的检测技术检测爬虫,综述了消息总线架构模式、Spring MVC框架、Storm框架和布隆过滤器等技术。本文阐述了反爬虫系统的工作原理,介绍了项目总体规划,确定系统边界,详细分析了系统的功能性需求、非功能性需求和主要处理流程。在此基础上,设计了系统总体结构,划分了功能模块,明确了系统包之间的逻辑关系,确定模块之间的交互流程,给出了系统的部署设计、系统数据的E-R关系,设计了数据库表,分别对消息总线、拦截处理、后台管理和实时计算等模块进行了分析设计,并给出这些模块的具体实现细节和实现结果。该系统根据爬虫的特征,能实时准确地检测爬虫,区分来自正常搜索引擎的爬虫与恶意爬虫,并拦截恶意爬虫。另外该系统采取包括惩罚在内的措施,加速爬虫的识别,提供Web管理页面供网站管理员设置黑白名单,配置拦截规则和计算规则,展示拦截记录的统计信息等。目前该反爬虫系统已在大众点评得到实际的应用,日均拦截量达到千万级,为企业节约了大量服务器资源,保护了企业数据安全。
大众点评反爬虫系统的设计与实现
这是一篇关于爬虫,拦截,消息总线,Spring,Spring MVC,Storm的论文, 主要内容为随着互联网应用的发展,爬虫技术越来越普及,恶意的或设计实现较差的爬虫,产生大量占用服务器资源、泄露隐私数据等负面问题。反爬虫成为网站管理者的一项重要课题,开发反爬虫系统具有十分重要的作用和意义。本文首先介绍了该系统的项目背景,对爬虫特征和当前爬虫检测技术研究现状进行调研,选用基于特征分析的检测技术检测爬虫,综述了消息总线架构模式、Spring MVC框架、Storm框架和布隆过滤器等技术。本文阐述了反爬虫系统的工作原理,介绍了项目总体规划,确定系统边界,详细分析了系统的功能性需求、非功能性需求和主要处理流程。在此基础上,设计了系统总体结构,划分了功能模块,明确了系统包之间的逻辑关系,确定模块之间的交互流程,给出了系统的部署设计、系统数据的E-R关系,设计了数据库表,分别对消息总线、拦截处理、后台管理和实时计算等模块进行了分析设计,并给出这些模块的具体实现细节和实现结果。该系统根据爬虫的特征,能实时准确地检测爬虫,区分来自正常搜索引擎的爬虫与恶意爬虫,并拦截恶意爬虫。另外该系统采取包括惩罚在内的措施,加速爬虫的识别,提供Web管理页面供网站管理员设置黑白名单,配置拦截规则和计算规则,展示拦截记录的统计信息等。目前该反爬虫系统已在大众点评得到实际的应用,日均拦截量达到千万级,为企业节约了大量服务器资源,保护了企业数据安全。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工坊 ，原文地址：https://m.bishedaima.com/lunwen/51936.html
