面向Elasticsearch的监控管理平台的设计与实现
这是一篇关于Elasticsearch引擎,监控管理,网关,容量规划的论文, 主要内容为Elasticsearch是基于Lucene的分布式全文搜索引擎,在很多公司中都使用Elasticsearch引擎来检索数据,其应用的领域非常广泛。但是,如何很好的监控和管理Elasticsearch集群,保持集群的稳定以及如何很好的管控用户查询避免相互影响,是很多公司所面对的难题。所以需要构建面向Elasticsearch的监控管理平台,实现对用户查询的控制、管理Elasticsearch集群资源、建立监控体系、提高集群稳定性、降低运维的成本、方便用户使用Elasticsearch检索数据。面向Elasticsearch的监控管理平台主要包括网关模块、元数据管理模块、集群监控模块。网关模块主要包括API级别权限校验、限流降级、容灾以及查询分析与审核等。网关模块使用Ehcache缓存用户查询数据,支持TCP和HTTP两种协议,处理用户查询请求。元数据管理模块主要包括Template(模板)的生命周期管理、资源的容量规划、用户应用管理、工单管理等等。元数据管理模块根据每个Template对应的TPS与QPS,分析所需要的资源,采用贪心算法对集群的进行资源的容量规划,提高资源的利用率。集群监控模块采集集群指标信息并配置监控大盘,直观观察集群各个指标比如写入率、查询率等等。另外,站在用户视角监控数据是否可查询,静态的分析集群不健康的检查项,生成健康报告。元数据管理模块、集群监控模块都采用B/S架构,用户通过界面与后端进行交互。后端使用SSM框架进行开发,采用Tomcat作为服务器,并将数据保存在MySQL中。平台上线后,用户查询得到很好的管控,不合理的查询会被拒绝,并由平台运维人员评估合理性,再对查询进行优化后再审批通过,避免了查询对集群的影响。集群运维工作大大降低,资源的利用率由原先平均30%提升至50%,集群的稳定性大大提升。目前整个监控管理平台读写峰值TPS分别是10904/s和1316w/s。
面向Elasticsearch的监控管理平台的设计与实现
这是一篇关于Elasticsearch引擎,监控管理,网关,容量规划的论文, 主要内容为Elasticsearch是基于Lucene的分布式全文搜索引擎,在很多公司中都使用Elasticsearch引擎来检索数据,其应用的领域非常广泛。但是,如何很好的监控和管理Elasticsearch集群,保持集群的稳定以及如何很好的管控用户查询避免相互影响,是很多公司所面对的难题。所以需要构建面向Elasticsearch的监控管理平台,实现对用户查询的控制、管理Elasticsearch集群资源、建立监控体系、提高集群稳定性、降低运维的成本、方便用户使用Elasticsearch检索数据。面向Elasticsearch的监控管理平台主要包括网关模块、元数据管理模块、集群监控模块。网关模块主要包括API级别权限校验、限流降级、容灾以及查询分析与审核等。网关模块使用Ehcache缓存用户查询数据,支持TCP和HTTP两种协议,处理用户查询请求。元数据管理模块主要包括Template(模板)的生命周期管理、资源的容量规划、用户应用管理、工单管理等等。元数据管理模块根据每个Template对应的TPS与QPS,分析所需要的资源,采用贪心算法对集群的进行资源的容量规划,提高资源的利用率。集群监控模块采集集群指标信息并配置监控大盘,直观观察集群各个指标比如写入率、查询率等等。另外,站在用户视角监控数据是否可查询,静态的分析集群不健康的检查项,生成健康报告。元数据管理模块、集群监控模块都采用B/S架构,用户通过界面与后端进行交互。后端使用SSM框架进行开发,采用Tomcat作为服务器,并将数据保存在MySQL中。平台上线后,用户查询得到很好的管控,不合理的查询会被拒绝,并由平台运维人员评估合理性,再对查询进行优化后再审批通过,避免了查询对集群的影响。集群运维工作大大降低,资源的利用率由原先平均30%提升至50%,集群的稳定性大大提升。目前整个监控管理平台读写峰值TPS分别是10904/s和1316w/s。
面向Elasticsearch的监控管理平台的设计与实现
这是一篇关于Elasticsearch引擎,监控管理,网关,容量规划的论文, 主要内容为Elasticsearch是基于Lucene的分布式全文搜索引擎,在很多公司中都使用Elasticsearch引擎来检索数据,其应用的领域非常广泛。但是,如何很好的监控和管理Elasticsearch集群,保持集群的稳定以及如何很好的管控用户查询避免相互影响,是很多公司所面对的难题。所以需要构建面向Elasticsearch的监控管理平台,实现对用户查询的控制、管理Elasticsearch集群资源、建立监控体系、提高集群稳定性、降低运维的成本、方便用户使用Elasticsearch检索数据。面向Elasticsearch的监控管理平台主要包括网关模块、元数据管理模块、集群监控模块。网关模块主要包括API级别权限校验、限流降级、容灾以及查询分析与审核等。网关模块使用Ehcache缓存用户查询数据,支持TCP和HTTP两种协议,处理用户查询请求。元数据管理模块主要包括Template(模板)的生命周期管理、资源的容量规划、用户应用管理、工单管理等等。元数据管理模块根据每个Template对应的TPS与QPS,分析所需要的资源,采用贪心算法对集群的进行资源的容量规划,提高资源的利用率。集群监控模块采集集群指标信息并配置监控大盘,直观观察集群各个指标比如写入率、查询率等等。另外,站在用户视角监控数据是否可查询,静态的分析集群不健康的检查项,生成健康报告。元数据管理模块、集群监控模块都采用B/S架构,用户通过界面与后端进行交互。后端使用SSM框架进行开发,采用Tomcat作为服务器,并将数据保存在MySQL中。平台上线后,用户查询得到很好的管控,不合理的查询会被拒绝,并由平台运维人员评估合理性,再对查询进行优化后再审批通过,避免了查询对集群的影响。集群运维工作大大降低,资源的利用率由原先平均30%提升至50%,集群的稳定性大大提升。目前整个监控管理平台读写峰值TPS分别是10904/s和1316w/s。
面向Elasticsearch的监控管理平台的设计与实现
这是一篇关于Elasticsearch引擎,监控管理,网关,容量规划的论文, 主要内容为Elasticsearch是基于Lucene的分布式全文搜索引擎,在很多公司中都使用Elasticsearch引擎来检索数据,其应用的领域非常广泛。但是,如何很好的监控和管理Elasticsearch集群,保持集群的稳定以及如何很好的管控用户查询避免相互影响,是很多公司所面对的难题。所以需要构建面向Elasticsearch的监控管理平台,实现对用户查询的控制、管理Elasticsearch集群资源、建立监控体系、提高集群稳定性、降低运维的成本、方便用户使用Elasticsearch检索数据。面向Elasticsearch的监控管理平台主要包括网关模块、元数据管理模块、集群监控模块。网关模块主要包括API级别权限校验、限流降级、容灾以及查询分析与审核等。网关模块使用Ehcache缓存用户查询数据,支持TCP和HTTP两种协议,处理用户查询请求。元数据管理模块主要包括Template(模板)的生命周期管理、资源的容量规划、用户应用管理、工单管理等等。元数据管理模块根据每个Template对应的TPS与QPS,分析所需要的资源,采用贪心算法对集群的进行资源的容量规划,提高资源的利用率。集群监控模块采集集群指标信息并配置监控大盘,直观观察集群各个指标比如写入率、查询率等等。另外,站在用户视角监控数据是否可查询,静态的分析集群不健康的检查项,生成健康报告。元数据管理模块、集群监控模块都采用B/S架构,用户通过界面与后端进行交互。后端使用SSM框架进行开发,采用Tomcat作为服务器,并将数据保存在MySQL中。平台上线后,用户查询得到很好的管控,不合理的查询会被拒绝,并由平台运维人员评估合理性,再对查询进行优化后再审批通过,避免了查询对集群的影响。集群运维工作大大降低,资源的利用率由原先平均30%提升至50%,集群的稳定性大大提升。目前整个监控管理平台读写峰值TPS分别是10904/s和1316w/s。
共享自行车交通需求极态溢出传播特性与服务点规划方法
这是一篇关于共享自行车,交通需求,极态溢出,微单元,容量规划,时空运行数据分析系统的论文, 主要内容为城市共享自行车系统(Bicycle Sharing System,BSS)延伸了公共交通最后一公里,又是绿色低碳的出行方式,在国内外越来越受到推崇。然而,因交通需求量大、时空不平衡导致的极态现象一直是困扰共享自行车发展的主要瓶颈。研究共享自行车交通需求极态溢出传播特性,根据用户出行需求科学布局服务点位置和规划服务点容量,能够为实现共享自行车系统随租随还的目标提供保障。在研究共享自行车交通需求极态溢出传播特性的基础上,提出了服务点微单元布局方法,并研究了服务点初始容量规划算法和容量规划沙漏模型,最后设计并开发了共享自行车时空运行数据分析系统,为实际管理共享自行车系统提供决策参考。本文主要研究工作如下:(1)分析交通需求传播特性及相邻服务点间极态溢出的规律,改进SIR传染病传播模型,提出了适合于BSS的交通需求极态溢出T-SIR传播模型与算法。考虑人工值守服务点的特性,再次改进T-SIR,提出了BSS的交通需求极态溢出T-SIRH传播模型与算法。对比分析可知,设置人工值守服务点有助于阻止极态溢出的蔓延。通过实例验证了模型能模拟BSS极态溢出过程,为BSS应急管理预案的制定提供了决策参考;(2)通过分析BSS交通需求的传播过程,证明交通需求极态溢出的传播特性符合运用微单元分析方法对单元特性的要求。根据BSS实际运行特性,借鉴微单元分析方法的原理,通过建立服务区域几何模型、网格划分、单元分析、系统综合及引入边界条件、求解区域需求强度,提出了BSS服务点微单元布局方法,实践证明该方法能有效分析BSS单元供求不平衡度,为科学布局服务点提供参考;(3)微单元估算方法建议在供求不平衡度位于大值范围的区域内新建服务点或改进已建服务点的容量。针对新建服务点,提出了以高适用度为目标的共享自行车服务点初始容量规划模型。改进Multi-logit,设计自行车出行方式分担率计算模型;依据不同来源的出行需求,并考虑每一类出行需求的位置与服务点之间的距离,获取服务点实际交通租还需求量;分析典型服务点的日周转率,规划共享自行车服务点初始容量。针对改进服务点,建立了共享自行车服务点容量规划沙漏模型。根据历史租还数据,保证单独服务点在运营周期内满足租借和归还共享自行车的需求,得到服务点容量基本要求。提出并定义了交通租还需求不平衡系数和净租还量不均衡系数,结合服务点容量基本要求,得到服务点最小规划容量。以人工值守服务点龙翔桥为例,在早晚高峰期间每30分钟安排一次人工调度后,初始容量规划模型保证了83.3%的服务时段满足用户的交通需求,容量规划沙漏模型保证87.5%的服务时段满足用户的交通需求,基本达到了随租随还的目标;(4)选择杭州市下沙服务区共享自行车系统作为实验案例,基于构建的交通需求极态溢出传播模型、服务点微单元布局方法、服务点容量规划模型的基础上,设计并开发了浏览器/服务器(B/S)架构的共享自行车时空运行数据分析系统,并详细展示了系统的功能模块、运行过程和结果分析。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/53289.html
