分布式数据仓库路由中间件的设计与实现
这是一篇关于分布式数据仓库,中间件,SQL路由,Thrift,Spring Boot的论文, 主要内容为星环科技作为一家专业的数据存储服务提供商,一直以来为证券、银行、政府等机构公司提供分布式大数据存储技术的支持,旗下一站式大数据平台(Transwarp Data Hub,以下简称TDH)集软件安装、运维于一身,同时提供了丰富的拓展功能。但是随着客户使用数据的增长以及使用场景的复杂化,单个数据仓库集群已经越来越难以满足客户的使用需求,部分客户为了减少数据迁移的成本,在不同地区都分别建立了大数据存储集群。在这种情况下,由于数据分散在不同的存储集群中,客户的数据查找成为了一个亟待解决的问题。本文基于客户实际使用场景中遇到的问题,详细分析了各类用户的使用需求,同时结合数据仓库当前的发展趋势,设计并实现了基于星环分布式计算平台(Inceptor)的数据仓库路由中间件(Inceptor-Gateway,以下简称Gateway)。Gateway中间件系统在大数据集群中位于客户端与数据仓库计算引擎之间,主要由客户端接收层、路由层以及发送层构成。用户通过客户端连接Gateway后便可同时与多个数据仓库建立连接,改变以往一次只能连接一个数据仓库的局面。用户通过提前配置的转发规则,便可以通过Gateway实现SQL请求智能转发、多节点负载均衡等功能。在多数据仓库的情景下做到数据结构对客户端透明,用户在查找数据时只需要专注于SQL语言的编写而不用关注数据的具体存放位置。同时为了进一步降低用户的使用成本,本文还基于Spring Boot设计了一个与Gateway协作的监控平台(DBAService),通过监控平台用户可以实时掌握系统运行状态以及转发详细,当SQL查询出现问题时可以通过该监控平台对出错节点进行快速定位,及时排查集群问题。目前Gateway已应用于公安、邮政以及多家银行证券机构的分布式存储集群中,在多数据仓库这类场景的集群构建及使用中发挥了重要作用。通过路由中间件Gateway的帮助,能极大地降低多数据仓库场景中用户的使用门槛,同时有利于构建更优的数据仓库结构,增加数据安全性。
分布式数据仓库路由中间件的设计与实现
这是一篇关于分布式数据仓库,中间件,SQL路由,Thrift,Spring Boot的论文, 主要内容为星环科技作为一家专业的数据存储服务提供商,一直以来为证券、银行、政府等机构公司提供分布式大数据存储技术的支持,旗下一站式大数据平台(Transwarp Data Hub,以下简称TDH)集软件安装、运维于一身,同时提供了丰富的拓展功能。但是随着客户使用数据的增长以及使用场景的复杂化,单个数据仓库集群已经越来越难以满足客户的使用需求,部分客户为了减少数据迁移的成本,在不同地区都分别建立了大数据存储集群。在这种情况下,由于数据分散在不同的存储集群中,客户的数据查找成为了一个亟待解决的问题。本文基于客户实际使用场景中遇到的问题,详细分析了各类用户的使用需求,同时结合数据仓库当前的发展趋势,设计并实现了基于星环分布式计算平台(Inceptor)的数据仓库路由中间件(Inceptor-Gateway,以下简称Gateway)。Gateway中间件系统在大数据集群中位于客户端与数据仓库计算引擎之间,主要由客户端接收层、路由层以及发送层构成。用户通过客户端连接Gateway后便可同时与多个数据仓库建立连接,改变以往一次只能连接一个数据仓库的局面。用户通过提前配置的转发规则,便可以通过Gateway实现SQL请求智能转发、多节点负载均衡等功能。在多数据仓库的情景下做到数据结构对客户端透明,用户在查找数据时只需要专注于SQL语言的编写而不用关注数据的具体存放位置。同时为了进一步降低用户的使用成本,本文还基于Spring Boot设计了一个与Gateway协作的监控平台(DBAService),通过监控平台用户可以实时掌握系统运行状态以及转发详细,当SQL查询出现问题时可以通过该监控平台对出错节点进行快速定位,及时排查集群问题。目前Gateway已应用于公安、邮政以及多家银行证券机构的分布式存储集群中,在多数据仓库这类场景的集群构建及使用中发挥了重要作用。通过路由中间件Gateway的帮助,能极大地降低多数据仓库场景中用户的使用门槛,同时有利于构建更优的数据仓库结构,增加数据安全性。
分布式数据仓库路由中间件的设计与实现
这是一篇关于分布式数据仓库,中间件,SQL路由,Thrift,Spring Boot的论文, 主要内容为星环科技作为一家专业的数据存储服务提供商,一直以来为证券、银行、政府等机构公司提供分布式大数据存储技术的支持,旗下一站式大数据平台(Transwarp Data Hub,以下简称TDH)集软件安装、运维于一身,同时提供了丰富的拓展功能。但是随着客户使用数据的增长以及使用场景的复杂化,单个数据仓库集群已经越来越难以满足客户的使用需求,部分客户为了减少数据迁移的成本,在不同地区都分别建立了大数据存储集群。在这种情况下,由于数据分散在不同的存储集群中,客户的数据查找成为了一个亟待解决的问题。本文基于客户实际使用场景中遇到的问题,详细分析了各类用户的使用需求,同时结合数据仓库当前的发展趋势,设计并实现了基于星环分布式计算平台(Inceptor)的数据仓库路由中间件(Inceptor-Gateway,以下简称Gateway)。Gateway中间件系统在大数据集群中位于客户端与数据仓库计算引擎之间,主要由客户端接收层、路由层以及发送层构成。用户通过客户端连接Gateway后便可同时与多个数据仓库建立连接,改变以往一次只能连接一个数据仓库的局面。用户通过提前配置的转发规则,便可以通过Gateway实现SQL请求智能转发、多节点负载均衡等功能。在多数据仓库的情景下做到数据结构对客户端透明,用户在查找数据时只需要专注于SQL语言的编写而不用关注数据的具体存放位置。同时为了进一步降低用户的使用成本,本文还基于Spring Boot设计了一个与Gateway协作的监控平台(DBAService),通过监控平台用户可以实时掌握系统运行状态以及转发详细,当SQL查询出现问题时可以通过该监控平台对出错节点进行快速定位,及时排查集群问题。目前Gateway已应用于公安、邮政以及多家银行证券机构的分布式存储集群中,在多数据仓库这类场景的集群构建及使用中发挥了重要作用。通过路由中间件Gateway的帮助,能极大地降低多数据仓库场景中用户的使用门槛,同时有利于构建更优的数据仓库结构,增加数据安全性。
分布式数据仓库路由中间件的设计与实现
这是一篇关于分布式数据仓库,中间件,SQL路由,Thrift,Spring Boot的论文, 主要内容为星环科技作为一家专业的数据存储服务提供商,一直以来为证券、银行、政府等机构公司提供分布式大数据存储技术的支持,旗下一站式大数据平台(Transwarp Data Hub,以下简称TDH)集软件安装、运维于一身,同时提供了丰富的拓展功能。但是随着客户使用数据的增长以及使用场景的复杂化,单个数据仓库集群已经越来越难以满足客户的使用需求,部分客户为了减少数据迁移的成本,在不同地区都分别建立了大数据存储集群。在这种情况下,由于数据分散在不同的存储集群中,客户的数据查找成为了一个亟待解决的问题。本文基于客户实际使用场景中遇到的问题,详细分析了各类用户的使用需求,同时结合数据仓库当前的发展趋势,设计并实现了基于星环分布式计算平台(Inceptor)的数据仓库路由中间件(Inceptor-Gateway,以下简称Gateway)。Gateway中间件系统在大数据集群中位于客户端与数据仓库计算引擎之间,主要由客户端接收层、路由层以及发送层构成。用户通过客户端连接Gateway后便可同时与多个数据仓库建立连接,改变以往一次只能连接一个数据仓库的局面。用户通过提前配置的转发规则,便可以通过Gateway实现SQL请求智能转发、多节点负载均衡等功能。在多数据仓库的情景下做到数据结构对客户端透明,用户在查找数据时只需要专注于SQL语言的编写而不用关注数据的具体存放位置。同时为了进一步降低用户的使用成本,本文还基于Spring Boot设计了一个与Gateway协作的监控平台(DBAService),通过监控平台用户可以实时掌握系统运行状态以及转发详细,当SQL查询出现问题时可以通过该监控平台对出错节点进行快速定位,及时排查集群问题。目前Gateway已应用于公安、邮政以及多家银行证券机构的分布式存储集群中,在多数据仓库这类场景的集群构建及使用中发挥了重要作用。通过路由中间件Gateway的帮助,能极大地降低多数据仓库场景中用户的使用门槛,同时有利于构建更优的数据仓库结构,增加数据安全性。
基于微服务架构模式的猿辅导后台管理系统的设计与实现
这是一篇关于K12,微服务架构模式,Spring Boot,Thrift,RabbitMQ的论文, 主要内容为近年来在线教育行业得到了蓬勃发展,市场规模呈现加速增长的态势,其中K12(指从幼儿园到高中的基础教育阶段)教育、学前教育、外语和职业培训等细分领域是目前资本投资的热点。相比传统教育,借助互联网技术的在线教育能够突破时间和空间限制,提供更为灵活的知识获取方式。猿辅导是一款专注于为K12教育领域提供在线直播辅导服务的平台,包括1对1、专题课和学期班课三种教学方式。随着平台用户数量和课程数量的不断增长,业务场景愈发复杂,运营和客服人员越来越难以手工处理各种工作流程,为此需要为猿辅导开发并维护一个后台管理系统,该系统提供了便捷的管理功能。该后台管理系统基于微服务架构模式搭建,开发该系统时正处于猿辅导平台服务器端架构准备转变为微服务架构模式的时期,作为内部系统,其承担了公司微服务架构模式实践探索的职责。微服务架构模式是目前在企业界受关注度比较高的一种架构模式,其目的是将大型的、复杂的并且需要长期运行的应用程序构建为一组相互配合的服务,其中的每个服务都符合SRP(单一职责原则,Single Responsible Principle)原则且足够内聚,通过该架构模式搭建的系统具有比较高的灵活性、可扩展性以及可维护性,能够大幅提高开发效率。本文依次分析并叙述了系统的需求、总体设计以及各个微服务的详细设计和实现。除此之外,还大致介绍了实践微服务架构模式的过程中遇到的问题以及对应的解决方案,如服务间的通讯机制、服务注册和发现等问题。开发过程中采用的服务器端技术主要有 Spring Boot、Thrift、RabbitMQ、ZooKeeper 和 Maven,前端技术主要有AngularJS和Gulp等。目前该系统已经上线,该系统的投入使用不仅提高了公司运营和客服人员的工作效率,而且该系统对微服务架构模式的实践方案也被猿辅导平台采用,目前整个猿辅导平台已经转变为微服务架构模式。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头 ，原文地址：https://m.bishedaima.com/lunwen/49699.html
