基于上下文的流式推荐算法研究
这是一篇关于流式数据,矩阵分解,上下文,信息增益,流式推荐算法的论文, 主要内容为推荐系统基于用户历史数据为用户提供个性化建议,是克服信息过载的一种有效手段。随着推荐系统的日益普及,推荐系统中数据的时序性、连续性、高速性和时变性等特点使数据满足流式性质,对传统的基于静态数据构造的推荐系统提出了巨大的挑战,而基于流式数据的推荐系统能够更加有效地处理流式性质的数据。基于矩阵分解的流式推荐算法不仅可以解决传统矩阵分解算法无法处理数据稀疏性的问题,并且能够解决数据流环境下的推荐问题。最近的研究中,基于马尔科夫矩阵分解的推荐算法(MFMP算法),将矩阵分解技术与马尔科夫相关知识相结合,可以实时更新系统中用户和项目隐特征向量。然而,MFMP算法仍存在以下问题:首先,随着时间的推移,MFMP算法无法处理系统中产生的新用户、新项目;其次,算法未考虑上下文信息对用户偏好的影响。针对以上问题,本文进行了如下几点研究。(1)首先,本文针对推荐系统中不断产生的新用户和新项目,提出了一种面向新用户和新项目的马尔科夫矩阵分解推荐算法(Markov Matrix Decomposition Recommendation Algorithm for New Users and New Items,简称 iMFMP)。iMFMP 算法解决了在没有任何历史数据的前提下,如何有效获取新产生用户和新产生项目的隐特征向量的问题。最后,通过基于Movielens-1M数据集的两组对比实验,验证了iMFMP算法的评分预测性能以及推荐性能,证明了算法中获取新产生用户和新产生项目隐特征向量方法的有效性。(2)为了验证用户对项目评分时所处的上下文环境是否会对用户的偏好产生影响,本文在iMFMP算法的基础上提出了一种基于上下文的流式推荐算法(Streaming Recommendation Algorithmbasedon Context,简称 C-iMFMP)。为了从嘈杂的上下文中有效选取与评分相关的上下文信息,首先在C-iMFMP算法中提出了一种基于信息增益的上下文信息与评分相关性分析方法,在此方法的基础上将选取的上下文信息分为主观上下文和客观上下文两类,并依次将两类上下文信息与算法相融合。最后,基于LDOS-CoMoDa数据集的两组对比实验显示,C-iMFMP算法无论是评分预测性能还是推荐性能均优于其余对比算法。
基于上下文的流式推荐算法研究
这是一篇关于流式数据,矩阵分解,上下文,信息增益,流式推荐算法的论文, 主要内容为推荐系统基于用户历史数据为用户提供个性化建议,是克服信息过载的一种有效手段。随着推荐系统的日益普及,推荐系统中数据的时序性、连续性、高速性和时变性等特点使数据满足流式性质,对传统的基于静态数据构造的推荐系统提出了巨大的挑战,而基于流式数据的推荐系统能够更加有效地处理流式性质的数据。基于矩阵分解的流式推荐算法不仅可以解决传统矩阵分解算法无法处理数据稀疏性的问题,并且能够解决数据流环境下的推荐问题。最近的研究中,基于马尔科夫矩阵分解的推荐算法(MFMP算法),将矩阵分解技术与马尔科夫相关知识相结合,可以实时更新系统中用户和项目隐特征向量。然而,MFMP算法仍存在以下问题:首先,随着时间的推移,MFMP算法无法处理系统中产生的新用户、新项目;其次,算法未考虑上下文信息对用户偏好的影响。针对以上问题,本文进行了如下几点研究。(1)首先,本文针对推荐系统中不断产生的新用户和新项目,提出了一种面向新用户和新项目的马尔科夫矩阵分解推荐算法(Markov Matrix Decomposition Recommendation Algorithm for New Users and New Items,简称 iMFMP)。iMFMP 算法解决了在没有任何历史数据的前提下,如何有效获取新产生用户和新产生项目的隐特征向量的问题。最后,通过基于Movielens-1M数据集的两组对比实验,验证了iMFMP算法的评分预测性能以及推荐性能,证明了算法中获取新产生用户和新产生项目隐特征向量方法的有效性。(2)为了验证用户对项目评分时所处的上下文环境是否会对用户的偏好产生影响,本文在iMFMP算法的基础上提出了一种基于上下文的流式推荐算法(Streaming Recommendation Algorithmbasedon Context,简称 C-iMFMP)。为了从嘈杂的上下文中有效选取与评分相关的上下文信息,首先在C-iMFMP算法中提出了一种基于信息增益的上下文信息与评分相关性分析方法,在此方法的基础上将选取的上下文信息分为主观上下文和客观上下文两类,并依次将两类上下文信息与算法相融合。最后,基于LDOS-CoMoDa数据集的两组对比实验显示,C-iMFMP算法无论是评分预测性能还是推荐性能均优于其余对比算法。
基于矩阵分解的哈希推荐方法研究
这是一篇关于哈希,矩阵分解,冷启动,多模态,流式数据的论文, 主要内容为随着网络服务的迅速发展,“信息过载”的问题经常出现:例如在电商平台,用户面对海量的物品列表应该如何做出选择,而企业又应该将哪些信息展示给用户,这类问题引起了专家学者的广泛关注。推荐系统应运而生,它在处理信息过载方面起着至关重要的作用,并广泛应用于各个领域,取得了巨大的经济效益和社会效益。基于矩阵分解的协同过滤根据用户与物品的历史交互挖掘潜在特征实现个性化推荐,是实现推荐的有效算法。然而,大规模的用户和物品使推荐系统面临严重的存储和检索效率的问题。哈希技术将物品和用户特征映射至统一的二值哈希码,在汉明空间中实现推荐过程,具有很高的存储和计算效率,是解决推荐效率瓶颈的一个有效方案。基于哈希的推荐方法以次线性或对数时间复杂度完成Top-K物品推荐,从而极大地提高了推荐效率,但是目前的基于哈希的推荐方法仍然存在以下局限性:(1)推荐系统中的物品冷启动问题一直是一个巨大的挑战。大多数基于哈希的推荐方法主要依赖于用户与物品的交互和单一的内容特征,而忽略了物品的多模态特征。当推荐系统没有与物品的交互历史或缺乏特定内容特征时,冷启动问题就不能得到很好的处理。(2)现有的哈希推荐方法都是基于批处理学习模式学习哈希码,一般是离线完成训练后再上线使用,不能实时更新模型,在处理大规模数据集时,内存消耗大,处理流式数据时效率低下。针对上述两个问题,本文的研究内容分为两部分:(1)为了解决推荐系统中的冷启动问题,本文提出一种面向物品冷启动推荐的离散多模态矩阵分解方法,首先,该模型提出了一种高效的一致多模态映射,利用多模态特征的互补性,将物品的多模态特征转化为统一的因子。然后,对物品的多模态特征和用户偏好同时进行离散矩阵分解,在一个共同的汉明空间中学习用户/物品的紧凑二值哈希编码。最后,为了有效地保持物品的相似性,该方法提出了一个语义结构正则化项,强制相似的物品在汉明空间中具有相似的哈希码。(2)为了解决哈希推线模型的在线学习问题,本文提出一种在线内容感知的离散矩阵分解方法,该模型设计了一个灵活的在线学习矩阵分解框架。当流式数据到达时,它可以采用一种动态更新策略来支持实时在线学习。在用户和物品各自的内容信息存在的情况下对它们进行哈希码学习,并施加平衡和去相关约束使哈希码紧凑且信息丰富,采用离散坐标下降算法逐位更新用户和物品哈希码。本文通过在三个数据集上进行实验,证明了所提出的两种基于矩阵分解的哈希推荐方法较之于现有的哈希推荐方法能有效的提升推荐结果的准确度。
基于KubeEdge与PLCnext的工业流式数据采集与分析平台设计与实现
这是一篇关于数据采集,流式数据,云边端协同,边缘计算,联邦学习的论文, 主要内容为工业现场数据采集是工业控制与监控的核心,随着制造业企业迈向数字化智能化发展的新高度,工业互联网的应用催生了对于大数据分析的需求。传统的工业数据采集装置预装自己的独有硬件、软件,使用自定义网络通信协议,数据系统相对闭塞,且无法完成对海量数据高可靠的安全管理与存储处理。一个可以满足工业新业态的通用、易扩展的数据平台对于实现工业数字化改造具有重要意义。本文从制造业行业的实际背景出发,以解决数字化改进过程中面临的问题为目标,分析了当前工业领域在现场设备数据采集平台的建设需求,融合先进的IT技术设计了工业流式数据采集与分析平台。本文通过开发终端设备数据采集中间件与构建云边协同的数据平台,实现了工业现场设备数据从PLCnext设备端采集上传,在Kube Edge云边数据平台实现数据清洗、存储分析、模型训练与可视化展示等功能。主要取得如下成果:(1)开发数据采集中间件实现终端设备数据采集,主要包括设备注册模块、数据路由模块、消息发布模块三部分,实现对PLC管理设备的指定配置信息、数据值进行采集,并使用基于MQTT协议设计的消息发布模块将数据同步至云边平台。(2)基于边缘计算开源框架Kube Edge搭建云边协同的数据平台,实现对采集于设备端的海量流式数据进行规则引擎数据清洗、边缘时序数据库存储、算法训练部署与可视化监控展示等功能。(3)提出一种适用于工业云边框架数据平台的联邦学习算法应用模式,以减少边缘侧计算轮次,提高模型生成效率。最后,本文搭建了以云边协同的网络环境平台和模拟工业场景的直流伺服电机驱动测试平台两部分为主的实验环境,模拟了工业现场的数据采集场景,验证并测试了数据采集与分析平台的设计功能与使用性能。
基于矩阵分解的哈希推荐方法研究
这是一篇关于哈希,矩阵分解,冷启动,多模态,流式数据的论文, 主要内容为随着网络服务的迅速发展,“信息过载”的问题经常出现:例如在电商平台,用户面对海量的物品列表应该如何做出选择,而企业又应该将哪些信息展示给用户,这类问题引起了专家学者的广泛关注。推荐系统应运而生,它在处理信息过载方面起着至关重要的作用,并广泛应用于各个领域,取得了巨大的经济效益和社会效益。基于矩阵分解的协同过滤根据用户与物品的历史交互挖掘潜在特征实现个性化推荐,是实现推荐的有效算法。然而,大规模的用户和物品使推荐系统面临严重的存储和检索效率的问题。哈希技术将物品和用户特征映射至统一的二值哈希码,在汉明空间中实现推荐过程,具有很高的存储和计算效率,是解决推荐效率瓶颈的一个有效方案。基于哈希的推荐方法以次线性或对数时间复杂度完成Top-K物品推荐,从而极大地提高了推荐效率,但是目前的基于哈希的推荐方法仍然存在以下局限性:(1)推荐系统中的物品冷启动问题一直是一个巨大的挑战。大多数基于哈希的推荐方法主要依赖于用户与物品的交互和单一的内容特征,而忽略了物品的多模态特征。当推荐系统没有与物品的交互历史或缺乏特定内容特征时,冷启动问题就不能得到很好的处理。(2)现有的哈希推荐方法都是基于批处理学习模式学习哈希码,一般是离线完成训练后再上线使用,不能实时更新模型,在处理大规模数据集时,内存消耗大,处理流式数据时效率低下。针对上述两个问题,本文的研究内容分为两部分:(1)为了解决推荐系统中的冷启动问题,本文提出一种面向物品冷启动推荐的离散多模态矩阵分解方法,首先,该模型提出了一种高效的一致多模态映射,利用多模态特征的互补性,将物品的多模态特征转化为统一的因子。然后,对物品的多模态特征和用户偏好同时进行离散矩阵分解,在一个共同的汉明空间中学习用户/物品的紧凑二值哈希编码。最后,为了有效地保持物品的相似性,该方法提出了一个语义结构正则化项,强制相似的物品在汉明空间中具有相似的哈希码。(2)为了解决哈希推线模型的在线学习问题,本文提出一种在线内容感知的离散矩阵分解方法,该模型设计了一个灵活的在线学习矩阵分解框架。当流式数据到达时,它可以采用一种动态更新策略来支持实时在线学习。在用户和物品各自的内容信息存在的情况下对它们进行哈希码学习,并施加平衡和去相关约束使哈希码紧凑且信息丰富,采用离散坐标下降算法逐位更新用户和物品哈希码。本文通过在三个数据集上进行实验,证明了所提出的两种基于矩阵分解的哈希推荐方法较之于现有的哈希推荐方法能有效的提升推荐结果的准确度。
基于地图详情的数据融合系统的设计与实现
这是一篇关于互联网地图,兴趣点,数据融合,Swoole框架,流式数据的论文, 主要内容为随着时代的发展,互联网地图已经成为了人们日常出行中必不可少的工具。在使用互联网地图的过程中,POI(Position of Interest)作为基于位置服务的核心数据,其重要性不言而喻。POI数据分为基础数据和详情数据,其中,详情数据是将大量扩展服务提供给用户的核心渠道。目前,互联网地图中的POI详情数据,虽然能够在一定程度上满足用户的核心需求,但其质量普遍低下且数量较为匮乏,并不能很好的将现有的与POI详情相关的多源异构数据利用起来。因此,需要一个数据融合系统,将具有不同来源、不同结构的数据融合,产出更为优质而全面的POI详情数据,并将其呈现在互联网地图上,为用户带来良好的出行体验。基于地图详情的数据融合系统将针对流式数据的处理、存储、融合与更新,设计POI详情数据从采集之后到使用之前的整体流转过程,使得基于多源异构原始数据的优质POI详情数据能够被实时的产出。同时,为了便于维护与二次开发,遵循团队主流技术路线,本项目将基于Linux系统,使用PHP语言进行开发,完成POI详情数据的处理、存储、融合和更新等功能,最终,将POI详情数据持久化,为下游所有服务提供优质而全面的POI详情数据来源。本人在该项目的研发过程中主要负责了服务端中的通用服务框架、详情处理服务、详情存储服务、详情融合服务和详情仓库服务的研发。研发过程主要基于Swoole框架,以高可扩展性、高性能为核心原则进行架构设计,最终以微服务架构的理念组合各个服务,完成了整体系统的搭建。本项目目前已经完成并作为一个核心组件实际运行在整体的POI数据系统中,为下游的其他系统提供数据支持,间接为数亿的用户提供服务。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://m.bishedaima.com/lunwen/54859.html
