面向BI平台的大数据ETL系统的设计与实现
这是一篇关于ETL,BI,大数据,数据仓库,微服务架构的论文, 主要内容为随着各行业数据量的增长,企业对大数据分析工具的需求与日俱增。本人在某大型互联网公司的大数据部门实习期间,部门核心产品商业智能(Business Intelligence,简称BI)平台除服务于内部研发外,也在积极推动商业化。为提升平台能力,部门搭建了面向BI平台的大数据ETL(ExtractTransform-Load)系统,替代原先使用的第三方ETL。作为BI平台的核心组成部分,该系统将在海量数据场景下完成对数据的抽取、转换和装载,并提供异构数据源集成、自动化配置、任务调度、算子插件化和外部工具拓展等功能。本文介绍了面向BI平台的大数据ETL系统的设计与实现。系统基于云原生的微服务架构思想所设计,由基础服务和运算服务两大微服务组成,并从软件架构上划分为ETL流引擎、触达、任务调度和服务接收四个模块。其中基础服务属于无状态服务;由负责处理用户请求及第三方平台回调的服务接收模块,和负责调度ETL本地任务并集成外部工具的任务调度模块组成。运算服务属于有状态服务;由专门处理数据抽取的触达模块,和负责解析配置、构建拓扑、产生算子并实施分布式计算的ETL流引擎模块组成。此外,系统还使用了公司内部统一的大数据任务调度平台DR平台来串联两个微服务。在运行过程中,根据基础服务的统筹,DR平台将动态地为每个ETL任务创建若干个运算服务实例,实施并行计算。该架构在域内能充分地整合公司的计算资源和云基础设施,在域外又能够有效地支持基于Kubernetes的私有化部署,并灵活适配集群和单机多种部署方案。本项目在公司的域内和域外均已开展应用,进一步增强了BI平台功能,完善了公司的数据中台建设。其中在域外已为几十家企业客户进行了私有化部署,能充分满足客户在数据仓库环节对功能、性能和算子定制化能力的需求。在域内则处于集成测试阶段,即将上线对接公司数十条业务产品线,服务日均千亿以上量级的大数据场景。
面向BI平台的大数据ETL系统的设计与实现
这是一篇关于ETL,BI,大数据,数据仓库,微服务架构的论文, 主要内容为随着各行业数据量的增长,企业对大数据分析工具的需求与日俱增。本人在某大型互联网公司的大数据部门实习期间,部门核心产品商业智能(Business Intelligence,简称BI)平台除服务于内部研发外,也在积极推动商业化。为提升平台能力,部门搭建了面向BI平台的大数据ETL(ExtractTransform-Load)系统,替代原先使用的第三方ETL。作为BI平台的核心组成部分,该系统将在海量数据场景下完成对数据的抽取、转换和装载,并提供异构数据源集成、自动化配置、任务调度、算子插件化和外部工具拓展等功能。本文介绍了面向BI平台的大数据ETL系统的设计与实现。系统基于云原生的微服务架构思想所设计,由基础服务和运算服务两大微服务组成,并从软件架构上划分为ETL流引擎、触达、任务调度和服务接收四个模块。其中基础服务属于无状态服务;由负责处理用户请求及第三方平台回调的服务接收模块,和负责调度ETL本地任务并集成外部工具的任务调度模块组成。运算服务属于有状态服务;由专门处理数据抽取的触达模块,和负责解析配置、构建拓扑、产生算子并实施分布式计算的ETL流引擎模块组成。此外,系统还使用了公司内部统一的大数据任务调度平台DR平台来串联两个微服务。在运行过程中,根据基础服务的统筹,DR平台将动态地为每个ETL任务创建若干个运算服务实例,实施并行计算。该架构在域内能充分地整合公司的计算资源和云基础设施,在域外又能够有效地支持基于Kubernetes的私有化部署,并灵活适配集群和单机多种部署方案。本项目在公司的域内和域外均已开展应用,进一步增强了BI平台功能,完善了公司的数据中台建设。其中在域外已为几十家企业客户进行了私有化部署,能充分满足客户在数据仓库环节对功能、性能和算子定制化能力的需求。在域内则处于集成测试阶段,即将上线对接公司数十条业务产品线,服务日均千亿以上量级的大数据场景。
面向BI平台的大数据ETL系统的设计与实现
这是一篇关于ETL,BI,大数据,数据仓库,微服务架构的论文, 主要内容为随着各行业数据量的增长,企业对大数据分析工具的需求与日俱增。本人在某大型互联网公司的大数据部门实习期间,部门核心产品商业智能(Business Intelligence,简称BI)平台除服务于内部研发外,也在积极推动商业化。为提升平台能力,部门搭建了面向BI平台的大数据ETL(ExtractTransform-Load)系统,替代原先使用的第三方ETL。作为BI平台的核心组成部分,该系统将在海量数据场景下完成对数据的抽取、转换和装载,并提供异构数据源集成、自动化配置、任务调度、算子插件化和外部工具拓展等功能。本文介绍了面向BI平台的大数据ETL系统的设计与实现。系统基于云原生的微服务架构思想所设计,由基础服务和运算服务两大微服务组成,并从软件架构上划分为ETL流引擎、触达、任务调度和服务接收四个模块。其中基础服务属于无状态服务;由负责处理用户请求及第三方平台回调的服务接收模块,和负责调度ETL本地任务并集成外部工具的任务调度模块组成。运算服务属于有状态服务;由专门处理数据抽取的触达模块,和负责解析配置、构建拓扑、产生算子并实施分布式计算的ETL流引擎模块组成。此外,系统还使用了公司内部统一的大数据任务调度平台DR平台来串联两个微服务。在运行过程中,根据基础服务的统筹,DR平台将动态地为每个ETL任务创建若干个运算服务实例,实施并行计算。该架构在域内能充分地整合公司的计算资源和云基础设施,在域外又能够有效地支持基于Kubernetes的私有化部署,并灵活适配集群和单机多种部署方案。本项目在公司的域内和域外均已开展应用,进一步增强了BI平台功能,完善了公司的数据中台建设。其中在域外已为几十家企业客户进行了私有化部署,能充分满足客户在数据仓库环节对功能、性能和算子定制化能力的需求。在域内则处于集成测试阶段,即将上线对接公司数十条业务产品线,服务日均千亿以上量级的大数据场景。
面向BI平台的大数据ETL系统的设计与实现
这是一篇关于ETL,BI,大数据,数据仓库,微服务架构的论文, 主要内容为随着各行业数据量的增长,企业对大数据分析工具的需求与日俱增。本人在某大型互联网公司的大数据部门实习期间,部门核心产品商业智能(Business Intelligence,简称BI)平台除服务于内部研发外,也在积极推动商业化。为提升平台能力,部门搭建了面向BI平台的大数据ETL(ExtractTransform-Load)系统,替代原先使用的第三方ETL。作为BI平台的核心组成部分,该系统将在海量数据场景下完成对数据的抽取、转换和装载,并提供异构数据源集成、自动化配置、任务调度、算子插件化和外部工具拓展等功能。本文介绍了面向BI平台的大数据ETL系统的设计与实现。系统基于云原生的微服务架构思想所设计,由基础服务和运算服务两大微服务组成,并从软件架构上划分为ETL流引擎、触达、任务调度和服务接收四个模块。其中基础服务属于无状态服务;由负责处理用户请求及第三方平台回调的服务接收模块,和负责调度ETL本地任务并集成外部工具的任务调度模块组成。运算服务属于有状态服务;由专门处理数据抽取的触达模块,和负责解析配置、构建拓扑、产生算子并实施分布式计算的ETL流引擎模块组成。此外,系统还使用了公司内部统一的大数据任务调度平台DR平台来串联两个微服务。在运行过程中,根据基础服务的统筹,DR平台将动态地为每个ETL任务创建若干个运算服务实例,实施并行计算。该架构在域内能充分地整合公司的计算资源和云基础设施,在域外又能够有效地支持基于Kubernetes的私有化部署,并灵活适配集群和单机多种部署方案。本项目在公司的域内和域外均已开展应用,进一步增强了BI平台功能,完善了公司的数据中台建设。其中在域外已为几十家企业客户进行了私有化部署,能充分满足客户在数据仓库环节对功能、性能和算子定制化能力的需求。在域内则处于集成测试阶段,即将上线对接公司数十条业务产品线,服务日均千亿以上量级的大数据场景。
JBPM工作流引擎在BI系统中的应用与实现
这是一篇关于工作流,商业智能,业务流程,BPM,BI,J2EE,JBPM的论文, 主要内容为工作流是一类能够完全或者部分自动执行的经营过程,它根据一系列过程规则、文档、信息或任务能够在不同的执行者之间进行传递与执行。商业智能系统给提供企业管理者辅助决策支持,成为当今企业有力的帮手。BI (Business Intelligence,即商业智能)和BPM (Business Process Management,即业务流程管理)的结合能得到更多的商业价值。同时能帮助公司更精确地调整和优化流程,对各种事件更迅速地作出反应,从而避免问题的扩大或者能更快地发现市场机会,提高客户的满意度。 在了解工作流领域的研究现状、概念和模型的基础上,本人独立完成了如下工作：(1)研究对工作流和BI系统的特点以及根据他们的特点提出两者结合的方法；(2)对电信行业的商业智能(BI, Business Intelligence)系统中数据质量核查系统的告警处理模块中的工作流业务的分析：(3)对告警管理处理模块的设计,详细分析阐释了系统并根据工作流管理系统参考模型与具体业务需求做进一步设计；(4)系统模块的开发实现,通过一套已成型的基于JavaEE平台利用Struts、 Spring、Hibernate和JBOSS JBPM (Java Business Process Management)开源的轻量级工作流引擎实现告警处理的具体实现和功能测试；(5)编写测试用例对系统进行功能性测试；(6)对工作流与BI系统结合的方法进行总结以及提出该方法可改进之处。 项目结果表明通过JBPM工作流引擎技术对告警处理业务的自动化处理能更精确地调整和优化流程,有效地提高系统运转效率,并使系统的业务流程趋于简单和更加流畅。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://m.bishedaima.com/lunwen/52037.html
