电商平台个性化推荐系统的设计与实现
这是一篇关于电商平台,个性化推荐,流式计算,注意力机制的论文, 主要内容为随着互联网行业的高速发展,网上购物已经成为了人们日常生活中必不可少的购物方式之一,与之而来的信息超载问题显得格外突出。为了应对这个问题,各大互联网公司都通过建设自己的个性化推荐系统来进行解决;而中小型电子商务公司却没有较好的解决方案。本文希望通过分析当前电商平台的个性化推荐算法,寻找优化点,在数据收集、数据分析、算法、运营工具各个层面进行优化,最终完成效果较好的个性化推荐系统。本论文介绍了基于深度学习的个性化推荐算法与推荐系统的研究背景、目的及意义。通过对当前使用较为成熟的XNN算法模型进行研究与对电商平台用户数据的收集与需求分析,给出电商平台个性化推荐算法的优化方案与系统的可行性解决方案。本文借鉴现有个性化推荐系统的结构,设计与实现基于用户行为的个性化推荐系统。本论文在XNN算法的基础上进行了算法优化,验证了优化后的FNN算法的推荐效果与可行性,并完成个性化推荐系统后台的设计与实现,达到帮助电商平台完成个性化推荐并且能够实时监测推荐效果的目的。
基于流式计算的个性化推荐系统的研究与实现
这是一篇关于流式计算,推荐系统,实时性,冷启动,矩阵分解,交替最小二乘的论文, 主要内容为目前,推荐系统无论是在电子商务还是在社交网络都占据着举足轻重的位置。传统的个性化推荐系统虽然能为用户提供准确的推荐服务,但面对不断变化的用户需求还存一些缺陷。由于传统系统定期批量计算数据,使得系统的计算结果无法实时反馈给用户,推荐的数据不能实时更新,使得推荐有滞迟,这即是推荐系统中的实时性问题。此外,在网站的初始阶段,由于用户-物品评分数据的缺乏,导致系统无法进行有效的推荐,这即是推荐算法中的冷启动问题。针对上述问题,本文设计与实现了一个基于流式计算的个性化推荐系统,即将解决冷启动问题的改进的推荐算法应用到推荐系统中,并根据实时的数据流更新推荐结果,本文主要包括以下研究内容:(1)针对推荐算法的冷启动问题,提出了一种基于相似度加权KNN的特征映射算法(Feature Mapping based on Similarity Weighted KNN,FM-SWK)。该算法首先运用相关相似度作为KNN算法的相似性度量方式,求得新用户或新物品的k个最近邻,然后结合用户或物品的属性向量来建立新用户或新物品和已有评分的用户或物品之间的映射关系,最后利用k个最近邻用户或物品的特征信息通过相似度加权的方式来估算新用户或新物品的特征值。其次,将FM-SWK算法和基于ALS-WR(Alternating Least Squares with Wighted Lmabda Regularization,加权正则化交替最小二乘法)的矩阵分解算法相结合,提出基于FM-SWK-ALS(FM-SWK and ALS-WR)的混合推荐算法,该算法利用FM-SWK算法求得的新用户和新物品的特征值,通过基于ALS-WR的矩阵分解模型对新用户或新物品进行推荐。同时,针对基于FM-SWK-ALS的混合推荐算法时间复杂度高和无关的用户和物品特征向量也被计算的问题,从用户和物品两个方面,提出适用于实时数据流的改进方案,该方案增量计算新用户或新物品的特征向量,规避不必要用户或物品特征向量的求解,然后将其应用到上述的混合推荐算法中。我们在搭建的Spark集群上使用公开的Movie Lens数据集对上述提出的混合推荐算法和其改进方案进行分析,将基于ALS-WR的矩阵分解算法和使用平均值填充新用户和新物品缺失评分值的AVG-ALS(ALS-WR based on Average)作为对比算法,从用户和物品两方面分析得出,基于FM-SWK-ALS的混合推荐算法的MAE(Mean Absolute Deviation)和RMSE(Root Mean Square Error)的值明显优于两种对比算法,其改进方案随着数据量的不断增加,迭代计算时间变化缓慢,满足系统计算时间需求。实验结果表明,基于FM-SWK-ALS的混合推荐算法可以在一定程度上有效地解决因由于用户-物品评分数据的缺乏无法进行有效推荐的问题,提高了推荐系统的推荐精度,其改进方案可以有效的提升算法的推荐效率。(2)针对传统推荐系统存在计算缓慢无法根据用户实时行为做出推荐的问题,本文设计并实现了一种能够实时计算的流式处理架构,将该架构和(1)提出的混合推荐算法相融合搭建基于流式计算的个性化推荐系统,并根据需求分析对系统模块进行设计和实现,主要分为基于Flume和Kafka的实时数据流模块、基于Spark Streaming的实时流计算模块和基于Spark中MLlib的推荐引擎模块,并使用HDFS和Hbase进行数据存储,前两者为在线处理部分,后两者为离线处理部分。系统通过将离线处理与在线处理相结合,也即由离线处理部分完成复杂度高、运算量大的计算,而由在线处理部分完成轻量级的计算,从而使得推荐系统能够实时响应用户行为。本文通过实验对设计出的实时推荐系统进行准确性和实时性能测试,其中,改进的FM-SWK-ALS混合推荐算法的准确率、召回率比传统的User CF、Item CF平均都要高出1.5%;本文搭建的实时推荐系统当瞬时数量在8000以内或评分速率在2500以内时,系统的平均响应时间都在5s以内。实验结果表明本文基于流式计算的个性化推荐系统具有良好的性能,在解决冷启动问题的同时,能够满足实时推荐的需求。
煤矿皮带系统指标流式计算与Shuffle调优算法研究
这是一篇关于分布式系统,流式计算,一致性Hash,SparkStreaming,Kafka的论文, 主要内容为近年来,随着煤矿信息化程度的提高,采、掘、提、运、通等系统设备在生产过程中产生了海量的安全生产管控数据与经营管理数据,在智慧矿山的时代背景下,构建合适的煤矿大数据流式计算平台,挖掘数据内部价值,实现安全生产设备各个绩效指标的流式计算与分析,为煤矿精益化管理提供决策支持,以此探寻有效的降本增效运营模式,对煤矿企业发展具有重要的意义。论文以陕西黄陵双龙矿皮带系统为研究对象,提出了主煤流运输设备指标的流式计算系统,该系统采用Kafka框架完成煤矿皮带系统数据的监听功能,基于Spark Streaming实现了皮带系统报警数据指标、OEE、运力及能耗指标、绩效指标和可靠性指标的流式计算。基于现场的运行数据,实现了指标流式计算结果的可视化。在Spark Streaming计算过程中,针对数据重组(Shuffle)阶段出现数据倾斜,导致集群计算效率降低,提出了基于一致性Hash算法的自定义分区器。测试结果表明,该自定义分区器对Key分布不均的数据进行10个批次的计算,其中数据倾斜批次的计算平均用时较HashPartitioner减少22.9s。耗时Z分数对比证明集群在调用该分区器后,数据倾斜不再是影响计算用时的主要因素。本文所提出的基于一致性Hash算法的自定义分区器可以优化Spark计算中出现的数据倾斜问题,集群面对倾斜数据任务时计算效率提升达16.64%。论文将Kafka、Spark Streaming、SSM等技术相结合,以陕西黄陵双龙煤矿皮带系统为例,建立了一套基于煤矿皮带系统指标流式计算系统,其计算结果可以为煤矿皮带系统设备精益化管理提供数据及决策支持,提高煤矿皮带系统综合效率。研究成果可为陕西黄陵双龙煤矿智慧矿山建设及企业精益管理提供一定的参考价值。
分布式视频用户日志采集分发系统的设计与实现
这是一篇关于采集分发,双层采集,高速缓存,流式计算,双中心节点的论文, 主要内容为随着互联网的普及以及视频应用的丰富,互联网每时每刻都在产生海量的视频用户行为数据。当前针对视频用户行为日志数据进行采集分析的研究普遍基于批处理思想,导致分析结果实时性不强,并且缺乏服务器集群健康的实时监测使得系统的可用性不高。系统基于双中心节点中心副本控制协议和实时流处理计算等相关技术,设计实现了一个分布式日志采集分发系统,完成对集群健康信息的监测和从用户日志数据中获取用户特征。系统由五个模块组成:日志采集模块负责多点采集传输日志数据;日志缓存模块负责日志数据高速缓存和持久化存储;日志分析模块负责提取行为信息形成用户特征集;数据存储模块负责数据分析结果;集群健康监测模块负责高效监控系统运行状态。为了更好地监控集群运行状态和得到实时性更高的分析结果,系统重点优化了中心副本控制协议以及采用基于流数据处理思想的分析引擎。优化的中心副本控制协议通过添加一个从中心节点形成双中心节点架构,中心节点出现故障可通过从中心节点快速恢复服务,基于优化协议实现的集群健康监测模块完成对节点存活、工作流量和资源使用等信息的更新同步工作,保证系统的高可用性和健康数据的强一致性。日志分析模块使用最新的实时流数据分析框架,以事件驱动特点提高日志分析的实时性和准确性。此外系统在日志采集模块中设计了双层采集架构,提高采集模块的安全性和可拓展性。经过测试表明,采用优化后的双中心节点中心副本控制协议实现的集群健康监测模块保障了系统的高可用性,以双层采集、高速缓存、流式计算和分布式存储技术,实现从海量视频用户行为日志中提取用户特征,为智能推荐视频内容、提升用户使用体验与增加用户粘性提供了数据支撑。
基于Flink的证券交易实时风控系统的设计与实现
这是一篇关于实时风控,Flink,大数据,数据仓库,流式计算的论文, 主要内容为随着互联网在我国的迅猛发展,我国金融市场规模也日益扩大,越来越多的投资者参与了金融证券投资。然而,近年来金融风险事件频发,风险案例日益剧增,金融证券交易市场面临前所未有的风险挑战。当前证券公司现有的传统风控系统已无法处理庞大的交易量,使得风险监控变得困难。因此,构建高吞吐、低延迟、高性能的毫秒级实时风控系统,对证券交易进行实时监控已成为证券公司发展的迫切需求。为实现对证券交易进行实时风险监控,本文采用Flink流式计算框架,设计并实现了一套毫秒级别的实时风控系统。相比于传统的风控系统,经过对比发现Flink在批处理和实时处理方面具有优越性,基于Flink的实时风控系统具备高吞吐、低延迟、高性能等优势,能够实现毫秒级的实时风控。系统使用分布式服务框架,实现模块化功能。本文首先针对风险控制中的关键工作进行了分析和总结,并以证券异常交易行为为研究对象,对风控系统的需求进行了分析。其次,设计了一个实时数据仓库,并通过分层设计实现了对数据的实时采集与处理。接着,构建了基于Flink流式计算引擎的规则引擎,从而返回风控结果。最后,设计了风控运营平台,使业务人员能够对异常交易行为进行报警处置。经过实际运行和测试,本文设计与实现的实时风控系统在功能和性能方面达到了高吞吐、低延迟、高性能的要求。基于Flink流式计算框架的高吞吐、低延迟、高性能的实时风控系统,不仅能够满足企业实时处理数据的需求,有效的对证券交易行为进行毫秒级实时监控,还能够满足证券经营机构对客户交易行为的监管合规及风控管理的要求。
基于流式计算的域名行为观测系统的设计与实现
这是一篇关于域名系统,大数据,流式计算,域名安全,Hadoop的论文, 主要内容为域名系统作为重要的互联网业务基础设施,主要用于完成从域名到IP地址的翻译转换。然而,合法的域名解析流程也存在着被网络中的不法分子实施恶意的行为。CERNET华东北地区网络中心安全保障系统的域名监测系统负责DNS源数据处理和域名信息存储的功能。随着数据规模的持续扩大和系统的长期运行,旧有的系统的性能要求已经得不到满足,且难以扩展,给域名研究带来了不便,同时传统离线分析的方式具有一定的滞后性。对此,本文设计的域名行为观测系统旨在对域名监测系统上重新进行系统架构设计,使其能够满足域名统计观测、域名行为场景识别等新的研究需求,提高开发效率,同时也具备一定的可用性和可靠性。本文的主要研究内容如下:在系统需求分析和设计方面:(1)对域名行为观测系统进行了需求分析和设计。在功能性需求方面,系统需要具备DNS流量实时采集与存储、域名统计观测、域名行为场景识别以及域名行为系统的可视化展示能力。非功能性方面,系统需要满足一定的可靠性和可用性等性能指标。(2)根据该需求,从功能架构、技术架构和数据架构三个方面给出了系统的总体设计。在系统的功能方面:(1)对域名行为进行了定义,将域名行为进行了分类,并总结了各分类下典型的域名行为场景。(2)通过分析目前系统的域名行为场景识别的检测需求以及考虑系统现有的主要数据源,以及对比分析大数据生态下主流的实时分析方案,设计了基于流式计算的域名行为场景识别检测框架,该框架可以满足基本的域名统计分析和行为识别需求,帮助实验人员将工作聚焦到具体的检测算法中。在系统的可视化方面:通过对数据检测分析模块中产生的结果输出,对域名统计分析和域名行为场景识别的两个主要功能进行相应的可视化图表的设计,便于直观、全面地对当前网络环境下的DNS状况进行一个清晰的了解。最后,根据功能模块的不同对数据采集模块、分发模块、存储模块、分析模块、可视化模块进行了详细的设计,在具体实现部分对各个模块的实现方案进行了详细的阐述,并给出了实现过程中的相关配置和界面展示。最终对系统进行功能测试和性能测试,并与域名监测系统进行对比分析,说明本系统的改进之处。目前域名行为观测系统运行状态良好,具备一定的可用性和可靠性。
基于流式计算的商品推荐系统的设计与实现
这是一篇关于流式计算,近线计算,实时性问题,机器学习的论文, 主要内容为随着互联网与信息技术的迅速发展,人们越来越喜欢从网络上购买商品。电子商务的兴起确实从很大程度上满足了人们便捷购物的需求,然而当商品数量趋于海量时,消费者面对琳琅满目的商品却有一种无从下手的感觉,这就是信息量达到一定规模时出现的信息过载困扰。从电商网站的角度看,如何让广大消费者喜欢和购买自己的商品,尤其是让长尾商品展现在需要的消费者面前;从广大消费者的角度看,如何在商品数量越来越多的情况下,迅速找到自己需要的商品,而不被噪声信息所干扰,推荐系统就是用来解决这一矛盾的重要工具。通过对用户过往历史数据的挖掘分析,从性别、年龄、兴趣爱好等多个维度,构建出用户特征模型,当用户下一次在网站上产生行为时,就能根据特征模型为用户进行推荐。推荐系统大多都面临实时性和冷启动问题,原因是计算用户、物品相似度矩阵或者进行矩阵分解需要进行离线计算且比较耗时。推荐冷启动是因为新注册的用户或新加入的商品还没有产生过行为,由于缺乏历史数据无法计算出正确的特征模型,因此不能给出准确的推荐结果。解决推荐冷启动有三种可选方案,一是根据用户的注册信息进行用户年龄、性别和地域推荐;二是引导用户将自己的偏好表达出来,利用收集到的用户兴趣标签进行推荐;三是将最近一段时间的热门商品推荐给用户。还有一种是通过第三方平台,利用该用户在第三方平台的行为记录作为推荐依据。本文主要采用热门商品推荐和流式计算来解决推荐冷启动问题,通过灰度测试验证表明,该方案能够有效解决推荐冷启动和实时性问题。通过对现有推荐系统和流式处理技术的深入研究,本文提出了面向流式计算的实时推荐方案。通过建立多层次数据分析处理平台,有效地解决了历史数据计算耗时和新数据实时响应的矛盾。该方案基于Apache开源的Storm和Hadoop框架,结合了Redis和Elastic Search的技术特点,从架构层面实现了离线计算、近线计算和在线计算。对历史数据的分析和建模,主要在离线计算平台中完成,用户实时交互数据的计算主要集中在近线计算平台,对推荐结果融合业务规则和重排序通过在线计算平台实现,各计算平台之间数据传输和共享通过Kafka消息队列和Redis缓存实现。实时商品推荐系统从架构设计上严格遵守了软件系统高内聚、低耦合、可扩展的原则。论文结构上,首先对推荐系统相关技术进行了综述,分析和比较了国内外推荐技术的研究现状和行业发展;其次分析了推荐系统的现实需求和现有推荐系统面临的实时性、冷启动以及多样性等问题,在此基础上总结出具有实时快速响应用户行为的推荐系统架构;最后,阐述了实时商品推荐系统架构及其实现方法。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码工厂 ，原文地址：https://m.bishedaima.com/lunwen/48253.html
