蚂蚁金服消息队列运维平台的设计与实现

这是一篇关于Spring Boot框架,Ant Design React框架,时序数据库,消息队列的论文, 主要内容为消息队列利用其高效稳定丰富的信息传递机制进行平台无关的数据交流,它基于消息的形式进行分布式系统的集成。随着业务数量和复杂度的增长,消息队列作为分布式系统之间通信的桥梁,其用户数量和自身部署规模也在快速增长:用户遇到的问题需要依靠用户支持来解决,因而用户数量的增长带来了用户支持总耗时的增长;另一方面消息队列部署规模的增加给服务状态监控和服务的容量规划等服务治理带来很大的压力,同时随着部署规模到达一定阈值,人工的服务治理已经难以满足需求。本文基于消息队列用户数量和部署规模不断增长的背景,对比当前消息队列运维相关产品的现状,针对它们的缺点并结合蚂蚁金服消息队列运维的需求,从设计和实现两方面提出了蚂蚁金服消息队列运维平台这一解决方案。本文的主要工作如下:(1)针对平台的扩展性和维护性问题,本文提出了仿照函数式编程的无状态系统架构,将后端的状态抽离到共有的持久化存储,解决了平台集群的扩展、实例迁移和实例重启状态恢复的复杂性问题,实现了实例的低成本添加及销毁,使运维人员无需关心平台的正确性问题,从而给平台的运维带来了很大的便利。(2)针对消息队列用户数量增长导致用户支持力不从心的问题,本文提出了将以往用户支持经验通过程序的形式固化成以提供解决方案为核心的用户自助支持的方案,解决了用户支持并发度低和耗时长的问题。更重要的是,由于改进后的用户自助支持不再只进行问题的反馈,而是直接提供了帮助用户解决问题的引导,省去了用户依据问题反馈进行人工分析的过程。(3)针对平台业务逻辑中建立SSH连接耗时过长导致用户请求整体耗时过长的问题,本文创造性地提出了可复用、可重入和缓存隔离的SSH连接池方案,方案的三种特性分别解决了 SSH连接重复创建、线程重复获取SSH连接和SSH连接缓存隔离的问题。本方案对SSH连接池的引入,总体上取得了同时减少业务操作耗时和资源占用的效果。(4)针对消息队列部署规模增长导致服务治理困难的问题,本文提出服务状态监控和容量规划的方案。其中服务状态监控解决了无法把控服务高维度状态和感知异常不及时的问题;容量规划解决了集群容量不足和集群资源浪费的问题。以上两方面的改进,使消息队列更好地满足了其服务等级协议。(5)针对分布式环境下执行任务的健壮性问题,本文提出了更为轻量级的分布式任务调度的方案,解决了分布式执行任务的负载均衡、任务丢失和任务同时重复执行的问题。这一改进帮助开发人员将关注点集中于任务的业务逻辑,而不再需要考虑分布式任务调度和容错的问题。自上线以来,蚂蚁金服消息队列运维平台运行状态良好。消息队列用户可从平台获得用户自助支持服务;消息队列运维人员可通过平台使用服务监控和容量规划等服务治理功能。据统计,本平台以平均每月9000的有效页面访问量和400的用户数量对企业内部提供服务,大大提高了消息队列用户支持和服务治理的效率,达到了企业对该平台的基本需求。

基于物联网的生命体征数据采集系统软件平台研究

这是一篇关于医疗物联网,生命体征数据采集系统,BLE,SSM,时序数据库的论文, 主要内容为随着互联网信息化技术的迅速发展并向各行各业加速渗透,医疗与物联网相互结合,医疗自动化开始逐渐成为一种趋势。传统医院信息系统经过多年的发展,在国内的三甲医院中保持着很高的使用率,其主要功能是通过计算机软硬件以及网络通讯技术对医院的医疗活动数据进行采集、传输、存储和管理等,在很大程度上简化了医院的行政工作以及日常事务处理,提高了医院整体的工作效率。然而生命体征数据的自动化采集过程在医院信息系统中依旧属于薄弱环节,为了提高医护工作中生命体征数据采集的数据准确性,简化流程并提高效率,本文基于医疗物联网技术,研究了一套生命体征数据采集系统的IT解决方案,实现了医院无纸化查房以及床旁检验项目的信息采集,病人的生命体征数据采集由传统的手抄再转录系统,演进到手持无线移动设备自动录入的方式。本文针对基于物联网的生命体征数据采集系统的关键技术,在蓝牙数据采集仪器的基础上,研究了生命体征数据的采集、通讯、存储、管理、展示以及对接等过程的设计和实现,涉及的主要内容如下:基于医院现有的信息系统环境,对生命体征数据采集系统进行需求分析,设计了生命体征数据采集系统软件平台的总体架构与功能模块。首先介绍基于BLE低功耗蓝牙通讯技术和HTTP协议的生命体征数据采集过程的通讯原理,然后对数据库表进行逻辑分析设计,采用关系型数据库与时序数据库的并用模式,实现大数量级生命体征数据的存储管理工作。设计开发基于SSM框架的服务器架构和护士站管理系统,并介绍服务器与医院HIS系统的对接原理。最后对系统进行测试和性能分析,表明系统能够稳定正常运行,实现生命体征数据的自动化采集流程,并且在大数量级时序数据的存储方案上InfluxDB时序数据库要优于MySQL关系型数据库。本论文的创新点如下:1、生命体征数据采集系统软件平台采用数据模型、控制、视图分离的模式,每个部分相互独立,同时又相互联系、协调统一,在开发工作的效率方面有很大的提升,并且在后期维护方面也有很大的便利性。2、数据库采用关系型数据库与时序数据库并用的方式,关系型数据库存储系统的业务逻辑数据,时序数据库存储病人大数量级的生命体征数据。同时生命体征数据的大数据存储在大数据时代背景下很有医学研究意义,能够为人类的生物医学研究事业做出极大的贡献。

基于NB-IoT的通用航空机场自动气象观测技术研究

这是一篇关于通用航空,自动气象观测,窄带物联网,微服务,时序数据库的论文, 主要内容为为了满足通用航空气象观测与气象数据共享需求,本文基于物联网技术设计并实现了一种通航机场自动气象观测和数据共享系统架构。系统主要分为自动气象观测设备节点与自动气象物联网平台两部分。其中,自动气象观测设备节点被装配在各个通用航空机场,节点将采集到的气象数据经过处理封装后通过窄带物联网(Narrow band Internet of Things,NB-IoT)传输到自动气象物联网平台。自动气象物联网平台负责收集、处理、分发、储存、管理并可视化地呈现气象数据供不同用户使用。与传统自动气象观测系统相比较,这种系统架构将中央处理单元的数据储存、处理、分发等功能在云端实现,由云端运维人员对服务器进行统一维护,在降低各通航机场自动观测系统成本的同时减轻了机场气象工作人员的运维负担、提高了系统的可用性。同时,采用多种前端框架与技术,无需专门的工作站与显示器,无需考虑本地硬件不同带来的软件兼容性问题,在浏览器端了实现良好的数据可视化与人机交互功能,提高了系统的易用性。本文首先进行了自动气象观测和数据共享系统的需求分析,提出了总体设计方案,并阐述了系统各部分的功能和组成。接着,对自动气象观测设备节点进行整体结构设计。参照民用航空气象相关设备技术要求进行传感器和器件选型,对设备节点主控模块给出了详细电路设计方案,实现了自动气象观测节点的硬件搭建。之后,对设备节点嵌入式软件进行需求分析,选择合适的嵌入式实时操作系统,完成传感器驱动编写,进行多传感器数据融合,生成标准格式消息,实现设备节点与物联网平台的数据交互。然后,对自动气象物联网平台进行设计与实现。对自动气象物联网平台功能性与非功能性需求进行了分析。基于微服务架构设计了物联网平台的整体结构;基于Netty技术实现物理设备的高并发接入;使用时序数据库实现设备上传数据的高速存储;进行设备鉴权提高设备与物联网数据交互的安全性。同时,通过前端设计为用户提供可视化与人机交互接口,在前端完成气象信息接引功能。最后进行了系统测试,通过功能测试验证了系统方案的可行性及各项功能的正确性;通过性能测试,表明自动气象物联网平台的高并发性能与高可用性。

基于物联网的生命体征数据采集系统软件平台研究

这是一篇关于医疗物联网,生命体征数据采集系统,BLE,SSM,时序数据库的论文, 主要内容为随着互联网信息化技术的迅速发展并向各行各业加速渗透,医疗与物联网相互结合,医疗自动化开始逐渐成为一种趋势。传统医院信息系统经过多年的发展,在国内的三甲医院中保持着很高的使用率,其主要功能是通过计算机软硬件以及网络通讯技术对医院的医疗活动数据进行采集、传输、存储和管理等,在很大程度上简化了医院的行政工作以及日常事务处理,提高了医院整体的工作效率。然而生命体征数据的自动化采集过程在医院信息系统中依旧属于薄弱环节,为了提高医护工作中生命体征数据采集的数据准确性,简化流程并提高效率,本文基于医疗物联网技术,研究了一套生命体征数据采集系统的IT解决方案,实现了医院无纸化查房以及床旁检验项目的信息采集,病人的生命体征数据采集由传统的手抄再转录系统,演进到手持无线移动设备自动录入的方式。本文针对基于物联网的生命体征数据采集系统的关键技术,在蓝牙数据采集仪器的基础上,研究了生命体征数据的采集、通讯、存储、管理、展示以及对接等过程的设计和实现,涉及的主要内容如下:基于医院现有的信息系统环境,对生命体征数据采集系统进行需求分析,设计了生命体征数据采集系统软件平台的总体架构与功能模块。首先介绍基于BLE低功耗蓝牙通讯技术和HTTP协议的生命体征数据采集过程的通讯原理,然后对数据库表进行逻辑分析设计,采用关系型数据库与时序数据库的并用模式,实现大数量级生命体征数据的存储管理工作。设计开发基于SSM框架的服务器架构和护士站管理系统,并介绍服务器与医院HIS系统的对接原理。最后对系统进行测试和性能分析,表明系统能够稳定正常运行,实现生命体征数据的自动化采集流程,并且在大数量级时序数据的存储方案上InfluxDB时序数据库要优于MySQL关系型数据库。本论文的创新点如下:1、生命体征数据采集系统软件平台采用数据模型、控制、视图分离的模式,每个部分相互独立,同时又相互联系、协调统一,在开发工作的效率方面有很大的提升,并且在后期维护方面也有很大的便利性。2、数据库采用关系型数据库与时序数据库并用的方式,关系型数据库存储系统的业务逻辑数据,时序数据库存储病人大数量级的生命体征数据。同时生命体征数据的大数据存储在大数据时代背景下很有医学研究意义,能够为人类的生物医学研究事业做出极大的贡献。

基于时序数据库的燃气安全检测系统设计与实现

这是一篇关于燃气安全检测,前后端分离,Netty,高并发,时序数据库的论文, 主要内容为燃气使用企业的增多,大大增加了燃气安全隐患。但经过大量走访与调研发现,大多数企业现有的燃气安全检测系统已难以适应与日俱增的数据模式,在数据的采集模块、存储模块以及时序数据的可视化模块的设计上显现出诸多不足。本文对传统的燃气安全检测系统进行改进实验,针对燃气采集数据的时序特性,设计并实现基于时序数据库的燃气安全检测系统以应对新形势下海量数据模式的需要。主要创新工作如下:(1)为应对燃气数据采集中出现的高并发问题,基于Netty开发了高性能的数据采集服务器,针对可变长的私有数据采集协议,设计了编码器和解码器模块,并用状态机设计模式对其进行改进,提高算法的可读性和可维护性。(2)设计实现海量数据模式下的存储模块,采用时序数据库OpenTSDB对燃气检测过程中产生的时序数据进行存储,对存储表结构进行进一步的优化设计与实现,并与基于mysql的存储方案进行了性能对比实验。结果表明:在实验场景下,Open TSDB的性能明显优于mysql,可以满足当前燃气安全检测系统的业务需求。(3)在数据可视化方面,基于WebSocket实现动态数据推送,利用Vue中的Mixin解决相似模块代码的复用,并利用Echarts技术解决传统燃气安全检测系统中的对时序数据展示直观性差的问题。最后,对本系统进行了功能性测试和非功能性测试。测试结果显示,各模块功能均可正常实现,性能满足需求,系统可以部署上线。

基于NB-IoT的通用航空机场自动气象观测技术研究

这是一篇关于通用航空,自动气象观测,窄带物联网,微服务,时序数据库的论文, 主要内容为为了满足通用航空气象观测与气象数据共享需求,本文基于物联网技术设计并实现了一种通航机场自动气象观测和数据共享系统架构。系统主要分为自动气象观测设备节点与自动气象物联网平台两部分。其中,自动气象观测设备节点被装配在各个通用航空机场,节点将采集到的气象数据经过处理封装后通过窄带物联网(Narrow band Internet of Things,NB-IoT)传输到自动气象物联网平台。自动气象物联网平台负责收集、处理、分发、储存、管理并可视化地呈现气象数据供不同用户使用。与传统自动气象观测系统相比较,这种系统架构将中央处理单元的数据储存、处理、分发等功能在云端实现,由云端运维人员对服务器进行统一维护,在降低各通航机场自动观测系统成本的同时减轻了机场气象工作人员的运维负担、提高了系统的可用性。同时,采用多种前端框架与技术,无需专门的工作站与显示器,无需考虑本地硬件不同带来的软件兼容性问题,在浏览器端了实现良好的数据可视化与人机交互功能,提高了系统的易用性。本文首先进行了自动气象观测和数据共享系统的需求分析,提出了总体设计方案,并阐述了系统各部分的功能和组成。接着,对自动气象观测设备节点进行整体结构设计。参照民用航空气象相关设备技术要求进行传感器和器件选型,对设备节点主控模块给出了详细电路设计方案,实现了自动气象观测节点的硬件搭建。之后,对设备节点嵌入式软件进行需求分析,选择合适的嵌入式实时操作系统,完成传感器驱动编写,进行多传感器数据融合,生成标准格式消息,实现设备节点与物联网平台的数据交互。然后,对自动气象物联网平台进行设计与实现。对自动气象物联网平台功能性与非功能性需求进行了分析。基于微服务架构设计了物联网平台的整体结构;基于Netty技术实现物理设备的高并发接入;使用时序数据库实现设备上传数据的高速存储;进行设备鉴权提高设备与物联网数据交互的安全性。同时,通过前端设计为用户提供可视化与人机交互接口,在前端完成气象信息接引功能。最后进行了系统测试,通过功能测试验证了系统方案的可行性及各项功能的正确性;通过性能测试,表明自动气象物联网平台的高并发性能与高可用性。

基于NB-IoT的通用航空机场自动气象观测技术研究

这是一篇关于通用航空,自动气象观测,窄带物联网,微服务,时序数据库的论文, 主要内容为为了满足通用航空气象观测与气象数据共享需求,本文基于物联网技术设计并实现了一种通航机场自动气象观测和数据共享系统架构。系统主要分为自动气象观测设备节点与自动气象物联网平台两部分。其中,自动气象观测设备节点被装配在各个通用航空机场,节点将采集到的气象数据经过处理封装后通过窄带物联网(Narrow band Internet of Things,NB-IoT)传输到自动气象物联网平台。自动气象物联网平台负责收集、处理、分发、储存、管理并可视化地呈现气象数据供不同用户使用。与传统自动气象观测系统相比较,这种系统架构将中央处理单元的数据储存、处理、分发等功能在云端实现,由云端运维人员对服务器进行统一维护,在降低各通航机场自动观测系统成本的同时减轻了机场气象工作人员的运维负担、提高了系统的可用性。同时,采用多种前端框架与技术,无需专门的工作站与显示器,无需考虑本地硬件不同带来的软件兼容性问题,在浏览器端了实现良好的数据可视化与人机交互功能,提高了系统的易用性。本文首先进行了自动气象观测和数据共享系统的需求分析,提出了总体设计方案,并阐述了系统各部分的功能和组成。接着,对自动气象观测设备节点进行整体结构设计。参照民用航空气象相关设备技术要求进行传感器和器件选型,对设备节点主控模块给出了详细电路设计方案,实现了自动气象观测节点的硬件搭建。之后,对设备节点嵌入式软件进行需求分析,选择合适的嵌入式实时操作系统,完成传感器驱动编写,进行多传感器数据融合,生成标准格式消息,实现设备节点与物联网平台的数据交互。然后,对自动气象物联网平台进行设计与实现。对自动气象物联网平台功能性与非功能性需求进行了分析。基于微服务架构设计了物联网平台的整体结构;基于Netty技术实现物理设备的高并发接入;使用时序数据库实现设备上传数据的高速存储;进行设备鉴权提高设备与物联网数据交互的安全性。同时,通过前端设计为用户提供可视化与人机交互接口,在前端完成气象信息接引功能。最后进行了系统测试,通过功能测试验证了系统方案的可行性及各项功能的正确性;通过性能测试,表明自动气象物联网平台的高并发性能与高可用性。

基于时序数据库的智慧电能管理微服务平台研究与设计

这是一篇关于电力数据管理,微服务,gRPC,时序数据库,InfluxDB的论文, 主要内容为电力制度体系的深度变革与智能电网建设的快速发展,使得电力行业业务范围不断扩大、采集点和电力数据不断增多。本研究实地调研了湖北某电力公司目前正在使用的电力信息管理系统,该系统主要存在以下两个方面的问题:一方面,该电力公司管理的电力数据基数大、增长快,导致现有电力信息管理系统时常出现数据读写缓慢、数据库崩溃等问题。另一方面,该电力公司业务需求扩张迅速,业务模块的不断拓展将使得现有电力信息管理系统臃肿不堪,出现了代码繁杂、管理不方便等问题。这样发展下去,甚至可能导致系统瘫痪。故而,灵活拓展电力信息管理系统的业务功能模块、缓解数据库读写压力以提高电力数据分析的有效性显得尤为迫切。针对上述问题,本研究提出搭建一个基于时序数据库的智慧电能管理微服务平台。该平台是因应湖北某电力公司对电力数据管理和业务管理的实际需求而开发的,以满足电力企业对系统信息进行高效数据分析、易维护、易拓展、敏捷开发的要求。本研究主要工作如下:(1)设计并创建了智慧电能管理微服务平台的架构体系。首先,通过对热门的微服务架构进行效果比对分析,本研究最终选择了支持技术异构的g RPC微服务框架。然后,结合湖北某电力公司的业务需求对平台功能模块进行了细致拆分,并完成了服务的注册与发现、服务网关、配置中心、负载均衡策略以及服务通信等基础微服务功能的方案设计与实现。最后,搭建并部署了智慧电能管理微服务平台微服务组件。(2)分析并设计了智慧电能管理微服务平台中的数据存储方式。首先,通过对热门的数据库产品的优劣势进行比对分析,本研究提出了将时序数据库Influx DB、关系数据库My SQL和缓存数据库Redis相结合的方案,使之共同作用于系统数据的存储。其次,先用拉格朗日插值法对传感器采集到的电力时序数据进行处理,再用RLE、Gorilla算法对数据压缩并进行压缩率测试。最后,对各数据库存储进行包括缓存设计、Influx DB存储设计和My SQL表设计在内的相应设计。(3)构建并实现了智慧电能管理微服务平台。首先,根据湖北某电力公司的实际情况,完成了需求分析,对平台进行了总体设计。然后,使用前后端分离方式以基于Vue、Python Flask、Influx DB和g RPC等技术实现了平台各种服务。同时,重点展示了电力数据管理、设备管理、运维管理和站点定位等核心功能。最后,进行了充分的系统功能与性能测试。据项目实际开发与测试情况来看,本研究开发的基于时序数据库的智慧电能管理微服务平台运行平稳。针对目前湖北某电力公司的电力信息管理系统存在的数据库随时面临崩溃、系统功能难以拓展等问题,时序数据库技术可有效减轻数据读写压力,且微服务架构使得平台的后期横向拓展更加灵活高效。总之,基于时序数据库的智慧电能管理微服务平台的研究与设计较好的解决了电力企业信息管理的痛点,有一定的实践意义和应用价值。

基于时序数据库的燃气安全检测系统设计与实现

这是一篇关于燃气安全检测,前后端分离,Netty,高并发,时序数据库的论文, 主要内容为燃气使用企业的增多,大大增加了燃气安全隐患。但经过大量走访与调研发现,大多数企业现有的燃气安全检测系统已难以适应与日俱增的数据模式,在数据的采集模块、存储模块以及时序数据的可视化模块的设计上显现出诸多不足。本文对传统的燃气安全检测系统进行改进实验,针对燃气采集数据的时序特性,设计并实现基于时序数据库的燃气安全检测系统以应对新形势下海量数据模式的需要。主要创新工作如下:(1)为应对燃气数据采集中出现的高并发问题,基于Netty开发了高性能的数据采集服务器,针对可变长的私有数据采集协议,设计了编码器和解码器模块,并用状态机设计模式对其进行改进,提高算法的可读性和可维护性。(2)设计实现海量数据模式下的存储模块,采用时序数据库OpenTSDB对燃气检测过程中产生的时序数据进行存储,对存储表结构进行进一步的优化设计与实现,并与基于mysql的存储方案进行了性能对比实验。结果表明:在实验场景下,Open TSDB的性能明显优于mysql,可以满足当前燃气安全检测系统的业务需求。(3)在数据可视化方面,基于WebSocket实现动态数据推送,利用Vue中的Mixin解决相似模块代码的复用,并利用Echarts技术解决传统燃气安全检测系统中的对时序数据展示直观性差的问题。最后,对本系统进行了功能性测试和非功能性测试。测试结果显示,各模块功能均可正常实现,性能满足需求,系统可以部署上线。