6个研究背景和意义示例,教你写计算机Lambda架构论文

今天分享的是关于Lambda架构的6篇计算机毕业论文范文, 如果你的论文涉及到Lambda架构等主题,本文能够帮助到你

基于Spark的个性化推荐系统研究与实现

这是一篇关于推荐系统,深度神经网络,增量协同过滤,Spark,Lambda架构的论文, 主要内容为当前的推荐系统为了获得更佳的推荐效果,以机器学习为技术支撑从文本、图像和行为习惯等方面建模,为用户带来了良好的推荐体验。本文在已有研究的基础上,尝试从用户的基本信息和行为中挖掘隐藏的关系,来缓解稀疏数据对推荐质量的影响,以达到进一步提高推荐质量的目的,主要研究成果为:(1)提出基于用户综合特征的图嵌入算法(Graph embedding algorithm based on comprehensive user features,GBUCF)来提高稀疏数据上的算法推荐准度。从文本描述信息中提取用户及项目文本的文本特征向量,以用户文本特征向量的余弦距离作为用户兴趣相似度;同时以通过社交关系获取用户之间的显式信任度和隐式信任度,并将信任度加权相加计算得到用户全局信任度。最后构建用户有向社交图网络模型,根据用户兴趣相似度与全局信任度的调和组合结果作为边的权重,以概率图游走的形式进行图嵌入计算得到用户最终特征向量,并以此为依据进行个性化推荐。(2)为了满足用户的即时偏好,本文对当前研究较为成熟的基于项目的协同过滤算法进行改良并以增量形式实现。以余弦相似度公式为基准,考虑项目得分偏差以及热门程度对相似度造成的计算偏差,用热门权重因子对项目得分进行降权修正,使得推荐结果更加准确。最后对公式分解为四个因子,并设定规则增量更新公式的各个因子,对新用户和新项目对应的记录采取不同的处理方式,进而达到实时更新推荐模型、为每一个用户实时推荐个性化结果的目的。(3)最后整合以上算法思想,以Spark为核心计算引擎,在Lambda架构上搭建用户个性化推荐系统,实现用户行为日志模拟、数据采集、离线推荐、实时推荐以及数据存储等功能模块,并提供数据服务接口供网页或APP调用查询数据库结果,使该系统尽可能达到商业可用的标准。

基于深度学习的电商实时推荐系统的设计与实现

这是一篇关于推荐系统,PLE,Transformer,Lambda架构,Parameter Server的论文, 主要内容为对于当今互联网公司,推荐系统已经成为了业务增长的重要引擎。好的推荐服务能够提高用户满意度,有助于互联网公司实现商业化的目标。随着互联网业务的发展,推荐系统要求能够处理海量数据;要求推荐结果精度高,能够满足用户的兴趣;要求推荐结果具有实时性,能够实时捕捉用户兴趣的变化,及时更新推荐结果。针对以上三点要求,本论文设计并实现了基于深度学习的电商实时推荐系统。本论文设计的推荐系统实现了先召回后精准排序的推荐模型,同时实现了电商平台的基础功能。通过详细的需求分析,对项目整体功能进行模块划分,得到用户交互模块、数据预处理模块、推荐模型训练模块和推荐模型预测模块四大功能模块。其中,用户交互模块产生海量数据传到数据预处理模块;在数据预处理模块,应用大数据框架处理海量数据,离线和在线两条数据流的设计满足实时性要求;推荐模型训练模块实现商品特征Embedding预处理,并分别实现了离线批量和在线增量的分布式模型训练,满足处理海量数据和实时性的要求;推荐模型预测模块设计先召回后精排的两阶段模型,实现基于HNSW算法的双塔召回模型,创新性地提出PLE结合Transformer的精排模型,兼顾了实时性和模型精度。作者独立设计并完成了以下四个功能模块:(1)用户交互模块:使用SpringBoot和MyBatis设计并实现了商品展示、购物车、商品购买、个人信息管理、获取商品推荐等功能。(2)数据预处理模块:应用Lambda架构实现离线和在线两条数据流,其中离线批计算使用Spark框架,实时流计算使用Flink框架,得到用户和商品的正排、候选、倒排数据流。根据用户对推荐结果的反馈,使用Flink框架进行样本拼接,得到正负样本。(3)推荐模型训练模块:用Node2Vec模型对商品特征Embedding进行预训练。使用Parameter Server实现分布式训练机器学习模型,对精排模型进行离线全量和线上增量训练,并存储训练好的精排模型参数。(4)推荐模型预测模块:包括召回和精排两个环节。在召回环节,实现基于HNSW算法的双塔模型,得到向量化召回,并进行多路召回合并,结果输入到精排模型。在精排环节,读取已经训练好的精排模型参数,计算最后的排序结果,给用户返回推荐结果。为了更好地挖掘用户行为序列数据中隐藏的用户兴趣信息,本文创新性地提出PLE结合Transformer的精排模型,实验结果表明其在多个目标任务中优于传统精排模型。

云制造环境下车间生产大数据处理系统研究与开发

这是一篇关于制造资源虚拟化,数据采集和处理,Lambda架构,生产大数据,云制造系统的论文, 主要内容为随着工业4.0、中国制造2025等先进制造概念的深入推进,刺激着制造业向着数字化及智能化的方向发展,在这样的背景下,能否实现对车间生产数据的高效利用就显得尤为重要。传统制造车间存在着资源离散分布、功能特征表示不全、灵活性低等问题,这些缺陷极大地限制了车间的智能化发展。为此,本文通过研究云制造相关理论,设计并构建了一个集成多源异构生产数据采集、低延时数据传输和并行运行流式计算和批量计算的车间生产大数据处理系统。针对车间制造资源种类多样且形式各异的特点,通过设计资源虚拟化模型对制造资源进行统一描述。在制造资源分类结果和属性描述信息分析的基础上,利用建模工具构建了制造资源结构化模型,并通过设计资源创建界面用于接收用户定义的资源静态属性并基于XML语言封装成资源实例。同时,分别为每类生产数据开发合适的采集模块并设计边缘计算模块降低数据的传输量,通过设计抽象化数据接口提高系统的可扩展性和灵活性。为了克服车间传统数据系统中存在的数据传输高延迟和处理方式单一的问题,本文设计与开发了车间生产大数据传输和处理系统。采用分布式消息中间件Kafka构建数据传输系统框架,设计并开发一系列功能模块组件,实现了数据分流、消息过滤和易用的数据接收发送接口等功能。为了兼顾车间生产数据处理结果实时性和准确性的需求,基于Lambda架构设计生产大数据处理系统,能够并行运行流式计算和批量计算。通过开发生产状况监控模块对车间的生产环境、设备运行状态和工件加工流程等进行监控,实现车间生产状况的透明化。在上述研究基础上,完成了系统部署、性能测试评估以及资源虚拟化模块的设计。通过引入微服务架构部署系统,降低了各个功能模块之间的耦合度。对数据传输系统的吞吐量和平均延迟进行了测试,验证了系统的可用性。进一步,基于Spring Boot框架设计了资源创建和查询界面,通过与实验室现有的数据采集系统和数据处理系统结合,实现制造资源静态属性和动态属性的合并封装,提高了资源虚拟化模型的描述准确度。

基于Kafka的数字化制造车间大数据处理平台设计与实现

这是一篇关于数据采集,Apache Kafka,大数据,智能制造,Lambda架构的论文, 主要内容为随着工业大数据、智能制造等概念兴起,设备数据作为能够直接反映制造过程的“第一手信息”越来越被重视。数字化制造车间作为现代制造业的基本单元,如何高效利用海量异构制造数据,是制造业现代化进程中必须解决的问题。传统制造业数据获取与处理系统往往是单一问题导向的,且仅关注某几个点,导致系统开放性、灵活性不高;而现代制造业对数据利用提出了更高的要求,需要整合度好、开放性强、灵活度高的数据平台。针对这样的现实需求,本文首先设计并构建了适用于数字化车间的四层网络拓扑结构,开发了设备统一数据采集系统。同时,基于Lambda架构,设计了能够并行对海量异构制造过程数据进行批量与流式计算的数据处理平台,并基于平台开发了B/S架构的实时可视化系统。最后,设计并搭建了硬件实验平台,用以验证系统。本文主要完成工作概括如下:(1)异构设备组网设计与设备统一数据采集系统开发。针对数字化制造车间设计了四层网络架构并对硬件选型给出了相应指导经验;研究开发了设备统一数据采集系统,克服了传统数据采集软件大多仅能采集单一种类设备数据的弊端,并在华中8型数控系统与ABB工业机械臂设备上进行了实验验证。(2)制造数据传输系统设计与实现。基于高性能分布式消息中间件Kafka开发了制造数据传输系统各模块与组件,优化设计了Kafka Topic划分策略与数据交换格式,并针对现有硬件条件,通过一系列性能调优实验,提升了数据传输系统性能。该系统能够突破传统数据传输系统应对海量异构制造数据时存在的性能瓶颈,为后续实现制造大数据平台提供基础。(3)制造车间大数据处理平台与实时可视化系统开发。对流式与批量计算进行了数学建模与算法实现,拓展应用于制造过程数据处理;基于Lambda架构,开发了能够对制造数据批量与流式计算并行的处理系统,并依托该系统开发了将数据处理结果对用户展示的B/S架构制造大数据实时可视化系统。(4)系统自动化部署实现与性能和稳定性评估。基于Docker容器化技术对系统实现了软件自动化部署,解决了复杂软件部署困难的问题;设计并搭建了硬件实验平台,对数据采集系统性能、传输系统吞吐量与延迟、可视化系统自适应性、整体系统稳定性进行了测试,证明了本文所设计与开发系统的有效性。