分享7篇关于日志采集的计算机专业论文

今天分享的是关于日志采集的7篇计算机毕业论文范文, 如果你的论文涉及到日志采集等主题,本文能够帮助到你

适配电商平台的分布式日志采集系统关键技术研究和系统实现

这是一篇关于日志采集,高并发日志,分布式,高可用的论文, 主要内容为随着近几年居民消费能力的增强以及移动互联网的飞速发展,人们的消费渠道逐渐变化,网购已经成为使用频率最高的互联网服务之一。集群监控数据是保障服务稳定性的重要依据,用户行为数据是大数据分析的重要信息来源,这些数据依赖于业务系统集群的日志,因此研究并设计一个适配电商平台的分布式日志采集系统具有重要意义。本文以某电商平台的业务需求为背景,针对业务集群异构日志前端收集、缓冲与转发、聚合与清洗、落地存储等环节的关键技术以及相关问题进行深入研究,设计并实现了一个适配于电商平台的分布式日志采集系统。本系统围绕高可用、高吞吐量、可扩展进行设计,为日志数据传输的可靠性以及系统的稳定性提供了保障,具有以下显著特点:(1)针对业务集群节点的日志收集任务,本文对多线程并发收集日志技术展开研究,提出基于双缓冲机制的非阻塞日志收集方案,并基于该方案设计和实现轻量级日志采集组件,提供采集低延时、低系统开销的性能,解决了常见日志系统采集层与业务系统耦合程度高、维护难度大、日志数据缓冲加重业务系统负载的问题。(2)针对支持高并发日志写入的需求,本文对比了现有Reactor和Proactor并发模型,提出基于主/从Reactor模式的分级日志转发方案,并基于该方案设计和实现高性能网络通信模块以及数据转发服务端组件,提供支持高并发、高吞吐、日志传输高可靠的性能,降低了业务系统和日志系统的耦合性,解决了系统缓冲层支持高并发写入以及数据保持高可靠性转发的关键问题。(3)针对海量异构日志的采集分析需求,本文研究了现有开源日志系统Flume的系统框架,提出基于Flume NG复合双通道的日志系统与数据清洗平台方案,并基于该方案设计和实现复合双通道以及日志清洗组件,在保证系统高吞吐量以及充足缓冲能力的前提下,解决了上游数据写入速率与下游数据消费速率不一致的问题,同时实现了在数据聚合过程中对日志流进行清洗的功能,使得系统收集并落地存储的日志数据更加符合分析人员的需求,降低后期数据分析的时间成本。最后,本文对上述实现的分布式日志采集系统进行测试分析,主要验证和分析了系统各功能模块的可靠性以及系统整体高可用、可扩展、内部负载均衡的性能,表明本文系统能够实现高效的业务日志收集、缓冲与转发、聚合与清洗、落地存储以及提供稳定可靠、可扩展的服务。

心理云平台安全子系统设计与实现

这是一篇关于微服务,权限管理,访问控制,隐私保护,日志采集的论文, 主要内容为心理健康日益受到人们的重视,对于心理测评的需求也日益增多。心理云平台就是为了提供高效、实时、广泛的在线心理测评、心理咨询而建设的,安全子系统是心理云平台的重要组成部分,主要维护系统的访问控制与管理功能,提供隐私保护与日志服务,保障平台的安全运行。本文从安全子系统的业务需求入手,抽离出系统的主要参与者角色,提取核心业务场景,对授权认证、数据加密、平台管理进行了细致的需求分析,进而导出功能需求和非功能需求。在进行总体设计时,将安全子系统划分为两个平台端和三个系统服务,两个平台端分别是心理云总平台管理端、机构平台管理端,三个服务为认证授权服务、隐私数据防护服务和日志采集服务。在此基础上进行了模型设计和架构设计。模型设计,主要是对权限模型和数据保护模型的构建。架构设计是从全局的角度分析了系统架构,各模块在系统的位置,并且重点说明了系统采用的认证授权架构。同时,也对系统界面、数据库表结构进行了设计与说明。基于总体设计,对系统各部分进行了详细设计,实现了各个微服务的接口和前端页面。后端开发主要使用Spring框架中的Spring Boot、Spring Cloud和Spring Security,通过Maven进行工程管理。前端基于VUE开发,风格统一且界面友好。系统建设完成后,搭建了相应测试环境,针对业务场景设计测试用例,对系统进行了功能测试,以及针对日志采集服务进行了性能测试,所有测试结果均符合预期要求。目前系统已顺利部署运行。

心理云平台安全子系统设计与实现

基于日志流的应用告警系统的设计与实现

这是一篇关于应用告警系统,应用探测,短信邮件,日志采集的论文, 主要内容为随着云计算Paa S(platform as a service)的技术越来越成熟,越来越多的应用运行在云端了。如Cloud Foundry,一个云应用管理平台可以在其上面部署运行上千个应用,上万的实例,相比传统软件部署运行,极大的提高了软件维护的效率和资源的利用率,减少运行成本。现有开源的云应用管理平台的工作重点都在应用的部署,监控,网络通信等和对整个平台的资源进行管理和监控,忽略了对应用自身运行状况的监控。应用内部出现出问题了不能及时发现,只有等应用客户反馈才发现。由于缺乏主动发现,及时告诉运维人员的机制,这对应用来说将造成很大的损失。为了解决这一问题,告警系统采取主动探测应用内部运行状况,记录出现问题原因,报告管理人员。应用开发人员需要为应用定制一个探测请求接口,探测应用的健康情况。系统采用微服务架构理念将系统模化设计,分为告警系统模块,通知模块,日志采集模块,前端显示模块。每个模块都可以单独部署,以Paa S接口向外提供服务。告警模块使用Http Client发送一条URL请求,日志采集模块(用Logstash,Redis,Elastic Search实现的日志系统)收集这条请求的返回结果;告警模块从日志模块中获取结果和报警规则匹配,以邮件和短信的方式来触发告警;通知模块及时通知应用管理人员。前台模问题块是用户的操作界面和数据展示界面。告警系统对现有的云应用管理平台做了一个完美的补充。它能够处理高并发情况下的应用探测告警,收集分析探测结果。当应用出现故障的时候,更加及时的发现应用问题,通知运维人员维护应用,减轻损失。

大数据平台用户日志采集与实时监控系统的设计与实现

这是一篇关于大数据,日志采集,日志监控的论文, 主要内容为在移动端设备与应用飞速发展的当下,各类互联网服务大数据平台繁荣发展,大数据平台上的海量用户会产生大量的日志数据。如何对系统端与终端分散的海量用户日志数据进行采集与实时监控,实时关注日志中的各项重要指标,成为大数据平台企业所必须要解决的问题。通过对日志数据的监控,可以即时了解企业大数据平台的设备系统情况,对可能发生的故障进行检测和排查,可以优化业务流程,为平台用户提供更好的服务。目前大数据平台在用户日志处理方面面临如下几个主要的问题:(1)需要更符合企业实际业务需求,如保证高吞吐量、可靠数据传输等特性的系统,完成对日志的采集、清洗和存储工作;(2)对实时日志数据的接入管理不便,难以对日志历史数据进行简易有效管理,从而影响到上层数据查询和统计分析计算效率;(3)当前通用实时监控告警业务开发联调周期较长,需要一个系统工具来实现灵活、高效的日志数据监控任务。本文首先阐述了日志采集与实时监控系统在当前大数据环境中对于大数据平台企业的意义与相关应用,然后从大数据平台企业对用户日志数据采集和有效监控的需求出发,探究分布式的日志采集与实时监控系统架构所必需的原则特性;接着设计了系统的功能架构、技术架构和网络架构,并进行了系统所用开发工具的技术选型。最后对系统的各个模块功能进行详细阐述,结合系统的架构与详细设计实现了日志采集与实时监控系统。系统总体可分为后台日志数据采集、清洗和存储部分以及前台用户日志管理和监控部分,其中前台部分可分为作为基础的连接管理模块、进行日志数据接入和数据管理的Druid数据源配置模块、以及进行监控任务、监控脚本创建的监控任务配置模块。本文所涉及的日志为应用系统通过日志策略定义的自定义日志,后台数据处理组件可完成日志数据采集、清洗和存储的整体流程,同时开发人员可通过该系统前台Web端将日志数据从Kafka消息系统接入到实时计算引擎Druid并管理,以供后续监控任务或实时查询;对于接入的日志数据可进行日志监控任务的创建,生成监控脚本并部署到Airflow工作流平台,完成对实时日志数据的周期性查询与告警工作。本文使用线上测试环境对日志采集与实时监控系统进行测试,达到了预期的设计目标。本系统已在国内某大型互联网企业的大数据平台上线,系统较好实现了分布式环境下对用户日志数据源的管理,以及对用户日志实时监控任务的有效配置,方便的满足了企业开发人员对于用户日志数据管理与实时监控的业务需求。