基于微服务和大数据融合框架的异常检测系统的研究与实现
这是一篇关于异常检测,微服务框架,大数据框架,频繁模式挖掘,框架融合的论文, 主要内容为随着互联网和息技术的发展,信息呈现出爆炸式的增长,进入大数据时代。大数据处理平台在国家治理、商业决策、市场拓展等都产生着巨大的积极作用。然而,社会各界在享受这样巨大红利的同时,也面临着信息安全所带来的问题。在这个时代,互联网作为数据传播的主要渠道,Web服务是其使用最广泛、便捷的服务。随着Web服务的广泛使用,对Web服务的攻击也伴随着增加。传统的安全产品是从网络层或者传输层对系统防护,克服传统安全产品的局限性,从应用层对系统进行防护,成为迫切的需要。本文将根据应用层数据来分析Web服务的安全状况,并研发一套异常检测系统来防护Web服务。本文的工作来源于福建省科技计划项目“大数据平台实时异常检测分析系统(Real time Anomaly Detection and Analysis System,简称 RADA)的关键技术研究及产业化”。在项目己有研究的关键技术基础之上,结合项目的具体任务和需求,采用微服务框架和大数据lambda框架构建了本项目的基本系统架构,研究了一套具有异常检测、异常定位、运行状况分析等功能的系统(RADA)的实现方法,并对RADA系统中实现异常检测挖掘分析时的关键算法--分布式频繁序列挖掘算法进行了研究。RADA系统易于部署、易于拓展、易于管理。本文主要工作如下:1所构建的RADA系统中,整合了基于微服务框架开发系统所使用的相关软件技术,包括Spring Boot、MyBatis、Spring Cloud,以及用于大数据分析的lambda框架及相关软件技术,包括HDFS、Flume、Kafka、Spark。2针对该项目RADA系统实际应用场景,本文进行了详细的需求分析。根据微服务框架和大数据lambda框架,创新性构建出了这两种框架融合的系统架构,并进行了总体设计。3对系统进行了详细设计,展示了微服务框架和lamda框架的实现方式,并重点对系统中涉及到融合技术的实例进行了详细的设计与实现。4针对现有的分布式频繁序列挖掘慢的问题,提出一种基于Spark的最大频繁模式挖掘算法SparkMFPs。该算法在构造投影数据库时删除非频繁序列,同时在进行深度频繁模式递归搜索时一次性生成最大频繁序列候选集。在测试集上实验证明了 SparkMFPs能够高效地挖掘出频繁序列。该算法是本项目中的关键算法。综上所述,本文基于微服务框架和大数据lambda框架技术所提出的融合框架,为基于大数据技术的异常检测系统的实现提供了有益的参考;同时,本文所提出的SparkMFPs新算法能高效地进行分布式异常检测,为本项目成果的产业化提供了重要的保证。
基于微服务和大数据融合框架的异常检测系统的研究与实现
这是一篇关于异常检测,微服务框架,大数据框架,频繁模式挖掘,框架融合的论文, 主要内容为随着互联网和息技术的发展,信息呈现出爆炸式的增长,进入大数据时代。大数据处理平台在国家治理、商业决策、市场拓展等都产生着巨大的积极作用。然而,社会各界在享受这样巨大红利的同时,也面临着信息安全所带来的问题。在这个时代,互联网作为数据传播的主要渠道,Web服务是其使用最广泛、便捷的服务。随着Web服务的广泛使用,对Web服务的攻击也伴随着增加。传统的安全产品是从网络层或者传输层对系统防护,克服传统安全产品的局限性,从应用层对系统进行防护,成为迫切的需要。本文将根据应用层数据来分析Web服务的安全状况,并研发一套异常检测系统来防护Web服务。本文的工作来源于福建省科技计划项目“大数据平台实时异常检测分析系统(Real time Anomaly Detection and Analysis System,简称 RADA)的关键技术研究及产业化”。在项目己有研究的关键技术基础之上,结合项目的具体任务和需求,采用微服务框架和大数据lambda框架构建了本项目的基本系统架构,研究了一套具有异常检测、异常定位、运行状况分析等功能的系统(RADA)的实现方法,并对RADA系统中实现异常检测挖掘分析时的关键算法--分布式频繁序列挖掘算法进行了研究。RADA系统易于部署、易于拓展、易于管理。本文主要工作如下:1所构建的RADA系统中,整合了基于微服务框架开发系统所使用的相关软件技术,包括Spring Boot、MyBatis、Spring Cloud,以及用于大数据分析的lambda框架及相关软件技术,包括HDFS、Flume、Kafka、Spark。2针对该项目RADA系统实际应用场景,本文进行了详细的需求分析。根据微服务框架和大数据lambda框架,创新性构建出了这两种框架融合的系统架构,并进行了总体设计。3对系统进行了详细设计,展示了微服务框架和lamda框架的实现方式,并重点对系统中涉及到融合技术的实例进行了详细的设计与实现。4针对现有的分布式频繁序列挖掘慢的问题,提出一种基于Spark的最大频繁模式挖掘算法SparkMFPs。该算法在构造投影数据库时删除非频繁序列,同时在进行深度频繁模式递归搜索时一次性生成最大频繁序列候选集。在测试集上实验证明了 SparkMFPs能够高效地挖掘出频繁序列。该算法是本项目中的关键算法。综上所述,本文基于微服务框架和大数据lambda框架技术所提出的融合框架,为基于大数据技术的异常检测系统的实现提供了有益的参考;同时,本文所提出的SparkMFPs新算法能高效地进行分布式异常检测,为本项目成果的产业化提供了重要的保证。
基于蚁群算法优化的FPGA大数据可视化平台设计与实现
这是一篇关于FPGA,大数据框架,蚁群算法,可视化的论文, 主要内容为大数据如今已经成为了热门话题。不仅仅是各种电商平台通过对用户的大数据行为分析从而准确的推送目标商品,还有2020年初新冠疫情的爆发各种大数据平台给那些关心疫情的人们实时的通报目前疫情的情况,这些场景的大数据应用让越来越多的行业希望能够利用大数据对本行业作出更多的贡献。在目前高校教育“新工科”的背景中,实验教学改革是重中之重,其中针对学生实验质量评价体系不够全面的问题,大数据就可以发挥它的作用,帮助授课老师全面、多维度的评价一个学生的实验质量。论文针对基于FPGA芯片的应用电路设备设计了一种大数据收集分析的平台,该平台以教学FPGA开发板为应用对象,对学生在FPGA上一些使用日志等数据进行收集,通过大数据框架进行分析计算描绘出学生的使用“画像”,该“画像”反映了学生在FPGA进行实验的一些情况,利用该平台可以辅助老师了解每个学生对FPGA实验课程的学习情况,从而多角度的对学生实验质量进行评价。该平台的设计内容主要包括三个部分:第一个如何实现每个学生手中的FPGA的数据采集并且能将采集的数据发送给平台;第二如何高效的对这些数据进行分析计算任务;第三如何将分析的结果清晰、有效的展示给用户,为完成这些内容论文做了如下工作:(1)为FPGA开发板设计一个数据采集模块,该采集模块可对FPGA的一些关键数据进行采集,并可以通过网络通信技术实现采集模块和平台间的数据传输。(2)调研目前常用的大数据框架,制定了Hadoop和Spark的技术选型,并对Hadoop在本课题上应用的一些不足进行了优化。利用蚁群算法在求解组合优化问题上的高效结合Hadoop调度自身的特点,提出了用蚁群算法改进Hadoop任务调度的优化方案,提高任务调度的效率,更高效的进行数据分析任务,缩短整个平台的响应时间。(3)构建FPGA大数据可视化平台,从项目需求、功能设计、系统模块设计等方面对平台的实现进行了详细描述。(4)进行系统测试,验证了蚁群调度算法对设计平台性能优化效果、实现了所有的目标功能,达到了课题预期的设计要求。
基于微服务和大数据融合框架的异常检测系统的研究与实现
这是一篇关于异常检测,微服务框架,大数据框架,频繁模式挖掘,框架融合的论文, 主要内容为随着互联网和息技术的发展,信息呈现出爆炸式的增长,进入大数据时代。大数据处理平台在国家治理、商业决策、市场拓展等都产生着巨大的积极作用。然而,社会各界在享受这样巨大红利的同时,也面临着信息安全所带来的问题。在这个时代,互联网作为数据传播的主要渠道,Web服务是其使用最广泛、便捷的服务。随着Web服务的广泛使用,对Web服务的攻击也伴随着增加。传统的安全产品是从网络层或者传输层对系统防护,克服传统安全产品的局限性,从应用层对系统进行防护,成为迫切的需要。本文将根据应用层数据来分析Web服务的安全状况,并研发一套异常检测系统来防护Web服务。本文的工作来源于福建省科技计划项目“大数据平台实时异常检测分析系统(Real time Anomaly Detection and Analysis System,简称 RADA)的关键技术研究及产业化”。在项目己有研究的关键技术基础之上,结合项目的具体任务和需求,采用微服务框架和大数据lambda框架构建了本项目的基本系统架构,研究了一套具有异常检测、异常定位、运行状况分析等功能的系统(RADA)的实现方法,并对RADA系统中实现异常检测挖掘分析时的关键算法--分布式频繁序列挖掘算法进行了研究。RADA系统易于部署、易于拓展、易于管理。本文主要工作如下:1所构建的RADA系统中,整合了基于微服务框架开发系统所使用的相关软件技术,包括Spring Boot、MyBatis、Spring Cloud,以及用于大数据分析的lambda框架及相关软件技术,包括HDFS、Flume、Kafka、Spark。2针对该项目RADA系统实际应用场景,本文进行了详细的需求分析。根据微服务框架和大数据lambda框架,创新性构建出了这两种框架融合的系统架构,并进行了总体设计。3对系统进行了详细设计,展示了微服务框架和lamda框架的实现方式,并重点对系统中涉及到融合技术的实例进行了详细的设计与实现。4针对现有的分布式频繁序列挖掘慢的问题,提出一种基于Spark的最大频繁模式挖掘算法SparkMFPs。该算法在构造投影数据库时删除非频繁序列,同时在进行深度频繁模式递归搜索时一次性生成最大频繁序列候选集。在测试集上实验证明了 SparkMFPs能够高效地挖掘出频繁序列。该算法是本项目中的关键算法。综上所述,本文基于微服务框架和大数据lambda框架技术所提出的融合框架,为基于大数据技术的异常检测系统的实现提供了有益的参考;同时,本文所提出的SparkMFPs新算法能高效地进行分布式异常检测,为本项目成果的产业化提供了重要的保证。
基于蚁群算法优化的FPGA大数据可视化平台设计与实现
这是一篇关于FPGA,大数据框架,蚁群算法,可视化的论文, 主要内容为大数据如今已经成为了热门话题。不仅仅是各种电商平台通过对用户的大数据行为分析从而准确的推送目标商品,还有2020年初新冠疫情的爆发各种大数据平台给那些关心疫情的人们实时的通报目前疫情的情况,这些场景的大数据应用让越来越多的行业希望能够利用大数据对本行业作出更多的贡献。在目前高校教育“新工科”的背景中,实验教学改革是重中之重,其中针对学生实验质量评价体系不够全面的问题,大数据就可以发挥它的作用,帮助授课老师全面、多维度的评价一个学生的实验质量。论文针对基于FPGA芯片的应用电路设备设计了一种大数据收集分析的平台,该平台以教学FPGA开发板为应用对象,对学生在FPGA上一些使用日志等数据进行收集,通过大数据框架进行分析计算描绘出学生的使用“画像”,该“画像”反映了学生在FPGA进行实验的一些情况,利用该平台可以辅助老师了解每个学生对FPGA实验课程的学习情况,从而多角度的对学生实验质量进行评价。该平台的设计内容主要包括三个部分:第一个如何实现每个学生手中的FPGA的数据采集并且能将采集的数据发送给平台;第二如何高效的对这些数据进行分析计算任务;第三如何将分析的结果清晰、有效的展示给用户,为完成这些内容论文做了如下工作:(1)为FPGA开发板设计一个数据采集模块,该采集模块可对FPGA的一些关键数据进行采集,并可以通过网络通信技术实现采集模块和平台间的数据传输。(2)调研目前常用的大数据框架,制定了Hadoop和Spark的技术选型,并对Hadoop在本课题上应用的一些不足进行了优化。利用蚁群算法在求解组合优化问题上的高效结合Hadoop调度自身的特点,提出了用蚁群算法改进Hadoop任务调度的优化方案,提高任务调度的效率,更高效的进行数据分析任务,缩短整个平台的响应时间。(3)构建FPGA大数据可视化平台,从项目需求、功能设计、系统模块设计等方面对平台的实现进行了详细描述。(4)进行系统测试,验证了蚁群调度算法对设计平台性能优化效果、实现了所有的目标功能,达到了课题预期的设计要求。
基于微服务和大数据融合框架的异常检测系统的研究与实现
这是一篇关于异常检测,微服务框架,大数据框架,频繁模式挖掘,框架融合的论文, 主要内容为随着互联网和息技术的发展,信息呈现出爆炸式的增长,进入大数据时代。大数据处理平台在国家治理、商业决策、市场拓展等都产生着巨大的积极作用。然而,社会各界在享受这样巨大红利的同时,也面临着信息安全所带来的问题。在这个时代,互联网作为数据传播的主要渠道,Web服务是其使用最广泛、便捷的服务。随着Web服务的广泛使用,对Web服务的攻击也伴随着增加。传统的安全产品是从网络层或者传输层对系统防护,克服传统安全产品的局限性,从应用层对系统进行防护,成为迫切的需要。本文将根据应用层数据来分析Web服务的安全状况,并研发一套异常检测系统来防护Web服务。本文的工作来源于福建省科技计划项目“大数据平台实时异常检测分析系统(Real time Anomaly Detection and Analysis System,简称 RADA)的关键技术研究及产业化”。在项目己有研究的关键技术基础之上,结合项目的具体任务和需求,采用微服务框架和大数据lambda框架构建了本项目的基本系统架构,研究了一套具有异常检测、异常定位、运行状况分析等功能的系统(RADA)的实现方法,并对RADA系统中实现异常检测挖掘分析时的关键算法--分布式频繁序列挖掘算法进行了研究。RADA系统易于部署、易于拓展、易于管理。本文主要工作如下:1所构建的RADA系统中,整合了基于微服务框架开发系统所使用的相关软件技术,包括Spring Boot、MyBatis、Spring Cloud,以及用于大数据分析的lambda框架及相关软件技术,包括HDFS、Flume、Kafka、Spark。2针对该项目RADA系统实际应用场景,本文进行了详细的需求分析。根据微服务框架和大数据lambda框架,创新性构建出了这两种框架融合的系统架构,并进行了总体设计。3对系统进行了详细设计,展示了微服务框架和lamda框架的实现方式,并重点对系统中涉及到融合技术的实例进行了详细的设计与实现。4针对现有的分布式频繁序列挖掘慢的问题,提出一种基于Spark的最大频繁模式挖掘算法SparkMFPs。该算法在构造投影数据库时删除非频繁序列,同时在进行深度频繁模式递归搜索时一次性生成最大频繁序列候选集。在测试集上实验证明了 SparkMFPs能够高效地挖掘出频繁序列。该算法是本项目中的关键算法。综上所述,本文基于微服务框架和大数据lambda框架技术所提出的融合框架,为基于大数据技术的异常检测系统的实现提供了有益的参考;同时,本文所提出的SparkMFPs新算法能高效地进行分布式异常检测,为本项目成果的产业化提供了重要的保证。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计货栈 ，原文地址：https://m.bishedaima.com/lunwen/50645.html
