基于HBase和微服务的全民健身系统设计与实现
这是一篇关于健身系统,HBase,微服务,访问控制的论文, 主要内容为随着科技水平和生活质量的提高,人们对健身的专业性也提出了更高的要求,对健身行业的信息化建设关注度也越来越高。同时,海量数据管理技术和微服务架构的发展,为健身系统的技术转型提供了契机。将海量数据存储和微服务架构相结合的健身系统,可以提高健身资源的利用率,解决健身资源的分布不均衡问题,提高健身专业化水平,并为群众经常性的科学运动提供了全方位的服务支撑。本文研发了一套基于HBase和微服务的全民健身系统,工作如下:(1)对健身系统进行需求分析,明确了业务的三个主要模块需求,即用户模块需求、场地模块需求以及课程模块需求。根据系统需求分析结果,对业务中的用户、场地和课程模块进行详细设计。同时采用微服务架构的思想,设计了健身系统的整体架构。最后采用Spring Cloud作为微服务的落地实现框架,完成健身系统的开发,并顺利实现部署和线上业务功能的测试,验证了本文所设计架构的合理性。(2)为了支持健身系统的复杂业务查询功能,在原有的HBase系统上对其进行扩展,使得健身系统可以通过SQL语句对HBase中的数据进行操作。为了提高HBase复杂条件的查询速度,避免全表扫描查询,本文为HBase中的业务表增加二级索引,提高非Row Key索引的复杂查询条件的响应速度,最终对HBase和其扩展的功能封装成健身系统的存储管理平台。(3)从系统数据安全性角度出发,提出基于风险属性的访问控制模型,该模型提出用综合权重-模糊综合评价法计算用户行为的风险值,同时设计了用户访问控制策略,阻止用户恶意访问系统,提高了系统的安全性。
野外车辆试验数据管理平台的设计与实现
这是一篇关于车辆试验,数据管理,数据迁移,HBase,数据接口的论文, 主要内容为车辆试验数据在车辆研发过程中具有重要的意义,但是由于缺少信息化的数据管理手段,造成了现在试验数据管理分散,比较容易丢失和修改的现状。虽然目前企业中已经存在一些数据管理软件,但是这些软件无法适应车辆野外试验时恶劣的条件,使试验过程中数据采集系统和数据分析系统分散进行,容易造成信息孤岛。并且随着试验数量的增多,现有的数据数据管理软件无法实现对试验过程中形成的海量、庞杂的数据的存储和处理,对于车辆试验的相关流程也只能提供比较有限的支持,大大影响了试验效率,浪费人力物力。本文从实际需求出发,设计和实现了专门针对车辆野外试验的数据管理平台,通过对试验数据管理系统和车载试验数据管理系统两个系统的设计开发,实现与数据采集系统和数据分析系统的数据集成,既实现了系统的松耦合,又实现了系统间的一体化,大大提高了试验效率,并且通过车载试验管理系统可以实现在野外试验现场对试验数据的展示和试验配置的修改,适应了车辆野外试验时环境比较恶劣的条件。对于试验中产生的海量试验数据,本文中介绍了基于HBase实现大规模试验数据存储的方案,实现对海量试验数据的格式化存储。系统可以实现在试验准备、试验实施、试验分析和试验总结四个阶段的数据管理,可实现在试验准备阶段完成对试验相关的配置;在试验实施阶段按照相关试验配置完成试验,在试验完成后实现对试验数据的存储和管理;在试验分析阶段实现对试验数据的分析和试验分析结果的保存;在试验总结阶段实现对试验流程中产生的报告和相关知识库的管理和审核。并且系统提供了对仿真数据的管理方法,可实现对正式试验和仿真试验结果产生的数据的对比分析,利用企业长期在车辆野外试验过程中积累的经验来分析检验设计方案的合理性。
基于大数据的前端埋点数据分析系统的设计与实现
这是一篇关于埋点数据,Kafka,大数据,HBase,随机森林的论文, 主要内容为随着信息产业的高速发展,用户可以使用的互联网应用层出不穷,各公司如何让自己的应用从各式各样的应用中脱颖而出,不但要保证创意性够高,同时也必须保证用户体验。使用前端埋点技术,可以在真实的网络环境下对用户行为进行相关的数据采集,深度还原用户使用场景,为产品的改进和优化提供有力的支持。埋点数据具有数据量大、数据杂的特点,因此在后端进行分析时,可能会对后端性能产生影响,从而影响用户操作并给用户带来不良体验。同样地,后端若有对多个模块进行合并分析的需求,将埋点数据存入各自的数据库里再进行合并分析,过于繁琐,并且很浪费资源。为了对大量的、杂乱的埋点数据进行分析,同时降低分析系统的开发成本、提高复用率,本论文构建了一个大数据分析系统,将埋点数据统一接入大数据平台进行分析,可以实用、高效地解决多应用埋点数据对比分析的问题。目前国内名叫神策数据的数据分析服务商已经实现了将埋点数据存入大数据平台进行分析,该数据分析服务商通过对外提供SDK接口和HTTP连接地址来实现埋点数据的采集,但HTTP连接的消息头包含状态码、响应码等多种与埋点业务无关的信息。本论文对此采集方式进行改进,由各个系统统一将埋点数据推入到大数据重要组件中的Kafka消息队列中,不仅可以缓冲数据压力,而且可以对数据种类进行动态扩充,用户也可动态调整采集的参数。然后再将所有的埋点数据均存入大数据重要组件中的HBase中,将HBase里的数据作为数据源进行统一分析,独立于后端业务模块进行处理。本文还使用改进优化后的随机森林算法,将调和平均数应用于随机森林算法的投票机制中,对采集上来的数据进行用户流失度预测,并展示在展示系统中。最终,本论文实现了存储与分析相互独立的系统,满足多次复用功能。测试结果表明,该系统满足了需求,实现了包括埋点数据采集及分析在内的各种功能,符合预期目标。同时对大数据平台进行了性能测试,百万请求时,延迟较低(低于1ms),满足性能要求。又对改进后的随机森林算法的精确率、准确率、召回率、F1-score及AUC五种指标通过Kaggle上公开的两组数据集进行了评估,改进后的随机森林算法对这五种指标均进行了有效提升。
基于物联网的智慧茶园数据采集管理系统的设计与实现
这是一篇关于智慧农业,ZigBee,能耗,HBase,分层存储的论文, 主要内容为随着物联网技术、无线通信技术等高科技技术的飞速发展,智慧农业已成为现代农业发展的趋势。智慧农业以物联网技术为支撑,通过传感器采集农业相关数据,在软件系统上展现和分析,为农业生产提供指导,使农业生产更具“智慧”。本文采集管理系统的应用环境是缙云黄茶茶园。通过在当地布置传感器,采集到茶叶生长的相关环境数据,在软件系统中进行可视化,对不利于茶叶生长的环境进行报警、对茶农的农事作业进行统一化管理。在此基础上,对传感器的能耗和系统总体性能进行优化。本文的主要研究工作概括如下:(1)对智慧茶园的实际需求进行分析,参考物联网体系结构模型,采用分层思想对数据采集管理系统的总体架构进行设计。在此基础上,对系统软件部分架构进行研究,对比三种主流的前端框架,选择了基于MVVM的Vue框架,搭配微服务架构实现前后端分离的开发模式。(2)针对数据采集过程中传感器能耗大、更换电池人工成本高的问题,研究了ZigBee网络中支持的三种路由算法,当前ZigBee协议中的ZBR路由算法在路由发现过程中会产生大量无用RREQ分组且能量消耗快的缺点,从控制节点能量阈值、限制RREQ分组的传播范围入手对其进行优化。通过仿真证明改进后的算法可以在保证网络传输稳定性的同时降低时延和能量消耗,使网络生存时间最大化。(3)本文从数据读写效率和前端页面响应时间两方面对系统总体性能进行优化。针对海量数据在MySQL中读写效率不高的问题,对数据存储方式进行研究,提出将MySQL采集表中的数据定期迁移至HBase,用户频繁操作的表依旧保留在MySQL的数据分层存储方案;针对页面响应时间长的问题,通过使用精灵图片、异步请求等方式进行优化。通过实验证明,优化后的存储方案大大提升了数据读写的效率;优化后的页面响应时间较优化前有所缩短。(4)从实际需求出发,分别对系统的Web端和APP手持端功能模块以及数据库进行设计与实现,同时对系统性能的优化效果进行了验证。用户可以通过注册账号、短信验证的方式登陆,在系统中查看每一个采集点的环境实时数据和历史数据,对日常农事作业进行记录并反馈遇到的问题。基于物联网的智慧茶园数据采集管理系统经过调试、安装、使用后,证实其功能完善、具有较高的实用价值和可扩展性,实现了对环境数据的实时监测和农事作业的规范化管理。
基于云平台的数据库搜索引擎实现方法的研究
这是一篇关于数据库搜索引擎,云平台,HBase,数据交互技术,矢量距离算的论文, 主要内容为随着电子商务信息快速地增长，在日益复杂的网络环境中搜索信息变得越来越重要，电子商务未来发展趋势将是搜索引擎和电子商务的结合。面对海量数据，传统数据库搜索引擎已经无能为力，主要存在三个问题，一是单点故障问题，二是索引效率问题，三是搜索结果准确率问题，很难满足应用要求，如何提高系统的性能是亟需解决的问题。 针对传统数据库搜索引擎系统的不足，本文开展基于云平台的数据库搜索引擎实现方法的研究。首先，提出基于云平台的数据库搜索引擎体系结构，使现有的数据库搜索引擎系统在HBase分布式数据库中得到实现，以提高了索引和搜索效率；其次，提出新的数据预处理方法，改进了关系型数据库和HBase分布式数据库之间的数据交互技术，简化了项目开发的框架；接着，提出基于Levenshtein Distance矢量距离算法的搜索评分机制，通过计算关键字间的相似度来判定用户注册重复数据，提高搜索结果的准确率。 最后，在电商公司BI部门，实现了基于云平台的数据库搜索引擎的原型系统。测试结果表明，本文提出的系统具有更好的准确性、高效性和扩展性。本文的研究成果在云计算、数据库搜索引擎及其应用领域具有一定的理论价值和很好的应用前景。
基于Hadoop平台的高血压治疗效果分析系统的设计与开发
这是一篇关于高血压治疗效果分析系统,用药推荐,Hadoop,Mahout,HBase,SSH的论文, 主要内容为高血压作为常见的慢性病,已经成为威胁心脑血管病的最主要因素,能诱发脑卒中、心肌梗死、心力衰竭及慢性肾脏病等系列并发症。根据近年的报告指出,我国高血压患病人口基数大,而控制率、治疗率偏低。如何提高高血压防治的控制率与治疗率成为当前一个热门话题,且有着相当的研究价值。所幸的是,随着大数据时代的到来,大数据分析为许多医学难题的解决提供了新途径,改变了一些疾病诊断方式。苏州市智能健康管理与信息工程技术重点实验室所设计的多功能便携血压计,通过蓝牙技术将患者的血压记录传输到移动终端以及云端健康监控中心。血压计在实际使用过程中,收集了大量的用户数据,利用这些数据来进行数据挖掘分析有着重要的研究价值。针对高血压控制率、治疗率偏低的现状,本文对高血压的防治现状以及大数据挖掘技术进行深入研究分析,设计了高血压治疗效果分析系统,主要完成的工作如下:针对高血压患者诊断记录的数据特点,设计了基于Hbase数据库的高血压患者案例记录库,为系统进行大规模数据建模以及检索提供了快速检索能力。在案例库的基础上设计了高血压用药推荐与疗效预测模型。系统使用了随机森林分类算法来对高血压患者案例库进行用药分类,利用对源案例的分类结果来做用药推荐。同时,系统使用案例推理来查找与源案例接近的目标案例,来为患者做疗效预测。实现了基于SSH(Struts+Spring+Hibernate)网络框架的高血压治疗效果分析系统,包括用户管理模块、高血压患者案例管理模块、高血压治疗效果分析模型建立模块与高血压治疗效果分析模块。并且搭建基于Hadoop分布式计算平台以及Hbase分布式数据库的大数据处理系统,并部署网站系统在Tomcat容器上。针对系统的关键功能进行了测试,测试结果显示了系统拥有海量数据存储能力,能进行大规模分类建模与运算。通过本系统,用户能够通过上传高血压案例数据来进行疗效分析以及实现用药推荐等功能。
基于云计算技术的电子商务系统设计与开发
这是一篇关于电子商务,云计算,HBase,Hadoop,K-means,Apriori的论文, 主要内容为近年来,中国的电子商务行业进入了爆炸式的增长期,其交易量呈指数攀升。然而随着交易规模的扩大,系统的数据量也在逐年增长,传统的以集中式架构为主的电子商务系统已经很难满足目前海量数据存储与处理的要求。因此电商行业急需突破传统的架构模式,设计出一套功能更强大的新型应用系统,其不仅能满足用户对系统功能的要求,而且还要在大数据环境下游刃有余。近些年兴起的云计算技术因其强大的数据处理的能力而倍受电子商务行业的青睐。云计算技术是并行计算、分布式、网格的综合体,是信息技术未来发展的主要方向之一。它能够以更低成本,提供对海量的数据处理的支持,兼容各种类型数据,并且具有良好扩展性。本文设计并开发基于云计算技术的电子商务系统,希望借助云计算技术提升系统的数据存储与处理能力。本文从分析现有电子商务系统入手,总结其特点,分析并解决其存在的问题。首先分析关系型数据库MySQL和分布式数据库HBase的特征,总结它们各自的优缺点并在存储数据时各取所长,采用MySQL存储系统中结构化的业务数据,采用HBase存储图片等非结构化数据,这两类存储机制共同构成了数据存储子系统。其次,考虑到电子商务系统数据量大,数据挖掘算法计算复杂的特点,本文利用MapReduce实现数据挖掘算法的并行化,并在此基础上构建一个基于Hadoop的商品推荐子系统。最后采用JavaEE技术设计一套功能完善的Web商城系统,该系统构建在Hadoop和HBase之上。本文通过WebService远程通信技术实现了Web系统、HBase图片存储系统和商品推荐系统间的通信,将它们组织成为一个有机的整体。
基于Hadoop的云物流调度系统研究
这是一篇关于云计算,云物流调度,Hadoop,HBase,海量数据的论文, 主要内容为随着社交网络、电子商务的迅速发展，互联网在线购物的交易量急剧增长，无论对于电商企业、消费者还是物流商，海量货单带来的一系列物流配送问题日益凸出。由于传统的物流管理模式缺乏统一管理，已经无法满足日趋复杂的供应链体系，如何保证快速有序的供货，保持持续稳定的供应链，以确保物流的通畅和信息的实时性，目前已经成为物流业所面临的重大问题。 将传统的物流管理模式和当下最热门的云计算技术结合起来，构建一个云物流管理平台，将有助于突破物流业的发展瓶颈。云物流通过吸收物流商的配送需求，使得大大小小的物流企业都加入到这个云物流体系，从而汇聚海量货单，依此建立一个庞大的云计算处理平台，将海量货单数据按地域、时间、类别、紧急程度进行统一调度处理，并利用遍布全国的配送节点，给出最优配送方案。 Hadoop是一个分布式处理大数据的软件框架，其上整合了包括云计算管理、数据仓储等一系列架构，已成为学术界和业界进行云计算应用和研究的标准平台。国外的Yahoo！、FaceBook等公司，国内的阿里，中国移动、华为等，都已经通过Hadoop部署了自己的云计算平台。本课题的研究正是在深入分析Hadoop技术架构的基础上，将传统物流调度模式与云计算结合，根据云物流调度系统的需求，利用HDFS和HBase的分布式仓储功能存储海量运单信息，利用Map/Reduce编程框架实现统一调度算法，成功设计并实现了基于Hadoop的云物流调度系统。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://m.bishedaima.com/lunwen/45113.html
