基于大数据的S航空公司运行风险管理体系优化研究
这是一篇关于运行风险管理,大数据应用,平台建设的论文, 主要内容为安全是航空公司生产运行中的底线和红线,也是我国民用航空行业的基础。随着SMS管理体系在国内的接受和普及,现代民航安全管理的核心要素就是航班运行风险管理这一概念普遍受到航空公司的认可和高度重视。随着社会从信息化时代向数字化时代的快速转变,为了适应大数据时代的运行风险管理要求,提升航空公司的运行风险管理能力,通过了解和分析S航空公司运行风险管理体系的现状和大数据应用情况,利用大数据风险控制的理论和方法,以公司数字化建设为基础对S航空公司的运行风险管理体系进行了优化,构建了一个基于大数据的智能化运行风险管理体系。本研究以大数据时代对传统航空公司运行风险管理体系的变革及应用为切入点,通过文献研究法分析目前国内外部分专家学者、民航机构对大数据运行风险管理的研究和应用,同时进一步了解运行风险管理和大数据相关概念和理论。进而从S航空公司运行风险管理体系的亲历者视角回溯了S航空公司运行风险管理体系的建设历程,展现S航空公司当前的运行风险管理体系框架和各个管理模块,介绍了运行风险控制系统的组成和设计思路,通过对S航空公司展开整体的部门调研和有针对性的个人访谈,深度了解S航空公司在运行风险管理工作中的现状和问题,分析总结了当前S航空公司运行风险管理体系的不足之处,并从组织与政策、大数据平台建设、管理流程优化、数据文化建设四方面提出了基于大数据的运行风险管理体系的优化方案。通过研究,为航空公司的运行风险管理体系的优化提供一些参考价值和帮助,也为航空公司大数据智能化运行风险管理未来发展方向提供一些思路。
面向大数据应用的铁路主数据管理关键技术研究
这是一篇关于铁路信息化,主数据管理,大数据应用的论文, 主要内容为随着大数据时代的来临,以及大数据技术应用的愈加广泛,数据已经变成企业的重要资产之一。通过对数据的分析挖掘及应用,可以有效提升企业的管理水平及经济效益。在铁路运输领域,通过近四十年的铁路信息化建设,中国铁路总公司已经建成了大量的业务信息系统,并积累了海量的PB级规模数据,为大数据在铁路行业的应用奠定了坚实的数据基础。但由于铁路信息系统建设初期对主数据管理的概念薄弱,各业务系统独立建设、分散维护,造成铁路基础数据标准不统一、编码不统一、含义不一致,给数据共享和数据关联分析带来极大困难。特别是进入大数据分析时代,对数据质量提出了更高要求。因此,通过建设铁路主数据管理平台实现对铁路主数据的规范及高效管理,对提升铁路数据质量、促进大数据技术在铁路行业的广泛应用具有重要意义。本文主要的研究内容如下:(1)提出了铁路主数据的定义、特点及内涵,在分析铁路主数据管理需求的基础上,设计了铁路主数据管理平台的总体架构,分别从主数据集成、存储、治理、发布等方面对平台的功能架构进行了设计,并对基于信息分类法建立的铁路主数据管理数据架构进行阐述。(2)针对从多源异构异域复杂业务系统中识别铁路主数据的需求,本文提出了基于模糊层次分析法的铁路主数据识别模型,并应用知识图谱技术对铁路主数据进行了建模。(3)设计了铁路主数据管理的全生命周期模型,并对铁路主数据维护流程进行阐述,分别从主数据的集成、存储及发布等方面进行创新,提出了基于模板的数据清洗及导入、基于WebService的数据接入、铁路主数据属性动态映射、大数据量文件共享、基于时间戳的数据版本管理及追溯等关键技术。(4)以大数据应用为目的,研究提出了基于主数据标准进行数据采集和数据治理的方法。阐述了基于铁路数据服务平台的数据采集实现,并在大数据治理中应用铁路主数据标准对业务数据进行清洗,有效提升了铁路数据服务平台的数据质量。(5)研发实现了铁路主数据管理平台的核心功能,对总体架构、关键技术等进行了验证,并介绍了铁路主数据管理平台的应用效果。
大数据应用调度系统的设计与实现
这是一篇关于大数据应用,调度系统,Azkaban的论文, 主要内容为随着互联网的快速发展,人们已进入大数据和移动互联网时代。大数据应用就是对数据价值的利用,即通过数据分析从海量数据中挖掘有效信息,为用户提供决策支持[5]。如何对这些数据进行高效处理成为关键,而数据处理中各个任务之间的的调度对整体的性能和资源的利用有着重大意义。本文是从X公司的实际需求出发结合目前开源的azkaban调度系统实现的一个大数据应用调度系统。本文首先通过公司的实际业务需求整理分析公司在任务调度方面的主要需求,并且对目前市场上存在的几种主要开源的调度系统进行技术调研,提出了合适的实现的方案确定了调度系统的选型。其次通过对需求的分析和技术的调研分析最终选择以开源的Azkaban调度系统为基础进行设计开发,系统采用了微服务的技术架构将系统主要分为web管理端部分、派发器部分和执行器部分三个部分。系统采用集群部署实现了调度的高可用,web管理端部分采用的是SSM(Spring&SpringMVC&MyBatis)架构实现了管理端的web界面化操作,同时采用图形化编辑界面IDE不仅实现调度系统的工作流调度的核心逻辑而且支持复杂的DAG工作流线上拖拽编辑。在执行机部分利用Azkaban的插件机制可以支持多种不同场景的job插件,实现不同任务类型的工作流调度。此外利用容器化技术Docker实现了工作作流执行环境的隔离,避免不同环境下的工作流执行相互影响。最后再次结合公司内部的使用情况对系统进行优化使之成为一个高效的大数据应用调度系统。目前,本文所提到的大数据应用调度系统已经在生产环境中正常运行。根据实际的线上运行效果表明本调度系统可以完成公司的日常业务需求,支持数万级任务的高并发调度。后期系统也将不断的进行功能完善优化,迭代升级成为公司一个核心的大数据应用产品。
面向大数据应用的铁路主数据管理关键技术研究
这是一篇关于铁路信息化,主数据管理,大数据应用的论文, 主要内容为随着大数据时代的来临,以及大数据技术应用的愈加广泛,数据已经变成企业的重要资产之一。通过对数据的分析挖掘及应用,可以有效提升企业的管理水平及经济效益。在铁路运输领域,通过近四十年的铁路信息化建设,中国铁路总公司已经建成了大量的业务信息系统,并积累了海量的PB级规模数据,为大数据在铁路行业的应用奠定了坚实的数据基础。但由于铁路信息系统建设初期对主数据管理的概念薄弱,各业务系统独立建设、分散维护,造成铁路基础数据标准不统一、编码不统一、含义不一致,给数据共享和数据关联分析带来极大困难。特别是进入大数据分析时代,对数据质量提出了更高要求。因此,通过建设铁路主数据管理平台实现对铁路主数据的规范及高效管理,对提升铁路数据质量、促进大数据技术在铁路行业的广泛应用具有重要意义。本文主要的研究内容如下:(1)提出了铁路主数据的定义、特点及内涵,在分析铁路主数据管理需求的基础上,设计了铁路主数据管理平台的总体架构,分别从主数据集成、存储、治理、发布等方面对平台的功能架构进行了设计,并对基于信息分类法建立的铁路主数据管理数据架构进行阐述。(2)针对从多源异构异域复杂业务系统中识别铁路主数据的需求,本文提出了基于模糊层次分析法的铁路主数据识别模型,并应用知识图谱技术对铁路主数据进行了建模。(3)设计了铁路主数据管理的全生命周期模型,并对铁路主数据维护流程进行阐述,分别从主数据的集成、存储及发布等方面进行创新,提出了基于模板的数据清洗及导入、基于WebService的数据接入、铁路主数据属性动态映射、大数据量文件共享、基于时间戳的数据版本管理及追溯等关键技术。(4)以大数据应用为目的,研究提出了基于主数据标准进行数据采集和数据治理的方法。阐述了基于铁路数据服务平台的数据采集实现,并在大数据治理中应用铁路主数据标准对业务数据进行清洗,有效提升了铁路数据服务平台的数据质量。(5)研发实现了铁路主数据管理平台的核心功能,对总体架构、关键技术等进行了验证,并介绍了铁路主数据管理平台的应用效果。
大数据应用调度系统的设计与实现
这是一篇关于大数据应用,调度系统,Azkaban的论文, 主要内容为随着互联网的快速发展,人们已进入大数据和移动互联网时代。大数据应用就是对数据价值的利用,即通过数据分析从海量数据中挖掘有效信息,为用户提供决策支持[5]。如何对这些数据进行高效处理成为关键,而数据处理中各个任务之间的的调度对整体的性能和资源的利用有着重大意义。本文是从X公司的实际需求出发结合目前开源的azkaban调度系统实现的一个大数据应用调度系统。本文首先通过公司的实际业务需求整理分析公司在任务调度方面的主要需求,并且对目前市场上存在的几种主要开源的调度系统进行技术调研,提出了合适的实现的方案确定了调度系统的选型。其次通过对需求的分析和技术的调研分析最终选择以开源的Azkaban调度系统为基础进行设计开发,系统采用了微服务的技术架构将系统主要分为web管理端部分、派发器部分和执行器部分三个部分。系统采用集群部署实现了调度的高可用,web管理端部分采用的是SSM(Spring&SpringMVC&MyBatis)架构实现了管理端的web界面化操作,同时采用图形化编辑界面IDE不仅实现调度系统的工作流调度的核心逻辑而且支持复杂的DAG工作流线上拖拽编辑。在执行机部分利用Azkaban的插件机制可以支持多种不同场景的job插件,实现不同任务类型的工作流调度。此外利用容器化技术Docker实现了工作作流执行环境的隔离,避免不同环境下的工作流执行相互影响。最后再次结合公司内部的使用情况对系统进行优化使之成为一个高效的大数据应用调度系统。目前,本文所提到的大数据应用调度系统已经在生产环境中正常运行。根据实际的线上运行效果表明本调度系统可以完成公司的日常业务需求,支持数万级任务的高并发调度。后期系统也将不断的进行功能完善优化,迭代升级成为公司一个核心的大数据应用产品。
大数据应用调度系统的设计与实现
这是一篇关于大数据应用,调度系统,Azkaban的论文, 主要内容为随着互联网的快速发展,人们已进入大数据和移动互联网时代。大数据应用就是对数据价值的利用,即通过数据分析从海量数据中挖掘有效信息,为用户提供决策支持[5]。如何对这些数据进行高效处理成为关键,而数据处理中各个任务之间的的调度对整体的性能和资源的利用有着重大意义。本文是从X公司的实际需求出发结合目前开源的azkaban调度系统实现的一个大数据应用调度系统。本文首先通过公司的实际业务需求整理分析公司在任务调度方面的主要需求,并且对目前市场上存在的几种主要开源的调度系统进行技术调研,提出了合适的实现的方案确定了调度系统的选型。其次通过对需求的分析和技术的调研分析最终选择以开源的Azkaban调度系统为基础进行设计开发,系统采用了微服务的技术架构将系统主要分为web管理端部分、派发器部分和执行器部分三个部分。系统采用集群部署实现了调度的高可用,web管理端部分采用的是SSM(Spring&SpringMVC&MyBatis)架构实现了管理端的web界面化操作,同时采用图形化编辑界面IDE不仅实现调度系统的工作流调度的核心逻辑而且支持复杂的DAG工作流线上拖拽编辑。在执行机部分利用Azkaban的插件机制可以支持多种不同场景的job插件,实现不同任务类型的工作流调度。此外利用容器化技术Docker实现了工作作流执行环境的隔离,避免不同环境下的工作流执行相互影响。最后再次结合公司内部的使用情况对系统进行优化使之成为一个高效的大数据应用调度系统。目前,本文所提到的大数据应用调度系统已经在生产环境中正常运行。根据实际的线上运行效果表明本调度系统可以完成公司的日常业务需求,支持数万级任务的高并发调度。后期系统也将不断的进行功能完善优化,迭代升级成为公司一个核心的大数据应用产品。
大数据应用调度系统的设计与实现
这是一篇关于大数据应用,调度系统,Azkaban的论文, 主要内容为随着互联网的快速发展,人们已进入大数据和移动互联网时代。大数据应用就是对数据价值的利用,即通过数据分析从海量数据中挖掘有效信息,为用户提供决策支持[5]。如何对这些数据进行高效处理成为关键,而数据处理中各个任务之间的的调度对整体的性能和资源的利用有着重大意义。本文是从X公司的实际需求出发结合目前开源的azkaban调度系统实现的一个大数据应用调度系统。本文首先通过公司的实际业务需求整理分析公司在任务调度方面的主要需求,并且对目前市场上存在的几种主要开源的调度系统进行技术调研,提出了合适的实现的方案确定了调度系统的选型。其次通过对需求的分析和技术的调研分析最终选择以开源的Azkaban调度系统为基础进行设计开发,系统采用了微服务的技术架构将系统主要分为web管理端部分、派发器部分和执行器部分三个部分。系统采用集群部署实现了调度的高可用,web管理端部分采用的是SSM(Spring&SpringMVC&MyBatis)架构实现了管理端的web界面化操作,同时采用图形化编辑界面IDE不仅实现调度系统的工作流调度的核心逻辑而且支持复杂的DAG工作流线上拖拽编辑。在执行机部分利用Azkaban的插件机制可以支持多种不同场景的job插件,实现不同任务类型的工作流调度。此外利用容器化技术Docker实现了工作作流执行环境的隔离,避免不同环境下的工作流执行相互影响。最后再次结合公司内部的使用情况对系统进行优化使之成为一个高效的大数据应用调度系统。目前,本文所提到的大数据应用调度系统已经在生产环境中正常运行。根据实际的线上运行效果表明本调度系统可以完成公司的日常业务需求,支持数万级任务的高并发调度。后期系统也将不断的进行功能完善优化,迭代升级成为公司一个核心的大数据应用产品。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计工坊 ，原文地址：https://m.bishedaima.com/lunwen/50519.html
