基于时序信息的推荐系统研究

这是一篇关于时序信息,会话,自注意力机制,门控循环单元,注意力机制的论文, 主要内容为随着移动互联网的不断发展,如今越来越多的人可以很容易的在互联网中获取各种各样的服务如听音乐、网络社交、看电影等。但随着互联网上的信息越来越多,人们发现很难从这些大量的信息中选择自己感兴趣的内容,对信息的使用效率越来越低。推荐系统的出现很好的解决了这种信息超载的问题。推荐系统会利用用户的历史交互数据进行自动化的分析,为用户匹配符合自身喜好的内容,缓解了人们从大量信息中做出选择的烦恼。推荐系统的本质是通过用户、物品的属性信息和用户与物品之间的交互来对用户未来的行为进行预测。因此推荐系统必须具有识别用户偏好和预测用户对物品喜爱程度的能力,然后根据喜爱程度的高低来决定应该推荐的物品。根据实现这种能力方法的不同,我们可以将传统的推荐系统概括为以下的三种类别:基于内容匹配的推荐系统、基于协同过滤以及混合的推荐系统。这些方法通过对用户与用户,物品与物品之间的相似度计算,来理解用户偏好,预测用户的行为产生推荐,也取得了不错的推荐效果。但这些传统的推荐方法往往忽略了用户交互行为中的时序信息和因果联系,仅仅静态的构建用户的偏好和属性,随着推荐系统应用场景的多元化和复杂化,以上的这些方法显得有些“力不从心”。如今,随着大量先进的技术和算法被引入到推荐系统当中,挖掘用户行为序列中的时序信息,动态的构建用户的兴趣偏好已成为当前推荐系统中重要的研究方向。卷积神经网络、循环神经网络和注意力机制这些深度学习方法被广泛的应用到用户时序信息的建模当中,通过捕捉用户的长期兴趣和短期兴趣产生推荐,大大提高了推荐效果。然而,现有方法仅采用用户近期的行为来代表用户的短期兴趣,忽略了用户长期兴趣演化过程中也存在短期行为相似的特点,没能很好的捕捉用户的长短期偏好。为此,本文提出了一种新的基于时序信息的推荐系统,共采用两层结构:第一层,短期兴趣抽取层,将用户行为序列划分为不同的会话,利用自注意力机制来抽取用户会话中的短期兴趣特征,形成用户的兴趣演化序列;第二层,长期兴趣演化层,利用门控循环单元和注意力机制计算不同会话下用户的短期兴趣特征在用户长期兴趣演化过程中的贡献程度,输出用户当前兴趣特征表示。最后,采用隐语义模型的方法利用用户兴趣特征向量和商品向量相乘得出用户的兴趣得分,为用户推荐下一个商品。本文采用天猫平台真实的交互数据集进行实验,在Recall@20和MRR(Mean Reciprocal Rank)的评估指标上,本模型相比于表现第二好的模型分别提升了16.2%和11.6%,与其他现有的方法相比推荐效果更好。

基于时序信息的奶山羊视频目标检测算法研究及应用

这是一篇关于奶山羊,Faster R-CNN,视频目标检测,时序信息的论文, 主要内容为利用智能视频监控技术对奶山羊养殖场进行监测,有助于及时获取羊群动态和异常行为,提高羊场管理效率,降低养殖成本。视频目标检测是智能监控技术的重要组成部分,其检测结果直接影响后续目标跟踪及行为分析的效果。本文以西北农林科技大学畜牧教学实验基地的奶山羊监控视频为研究对象,实现了基于改进Faster R-CNN算法的奶山羊视频目标检测。本文的主要研究内容与结论如下:(1)奶山羊视频目标检测数据集的构建。针对奶山羊视频目标检测数据集不足的问题,首先在奶山羊养殖场安装远程监控设备以获取到原始的奶山羊监控视频,并对其进行格式转换,筛选出有效的视频片段;其次使用FFmpeg对视频片段分帧,Label Img开源工具对帧图像进行标注;最后按照ILSVRC-VID数据集格式组织文件,并将最终的奶山羊数据集命名为GOAT-Dataset,用于后续算法模型的训练。(2)基于特征加权的奶山羊视频目标检测。针对卷积神经网络对视频帧特征信息利用不充分的问题,本文提出了一种基于特征加权的奶山羊视频目标检测模型SFFaster R-CNN。SF-Faster R-CNN在Faster R-CNN和Res Net-50主干网络的基础上,嵌入了改进后的SE通道注意力模块,用于提高卷积神经网络对有效特征的学习权重;引入多尺度特征融合FPN模块,使提取的特征更具丰富的表达能力。经实验证明,SF-Faster R-CNN拥有更好的检测性能,在GOAT-Dataset奶山羊数据集上的检测精度达到了71.54%。(3)基于聚合时序信息的奶山羊视频目标检测。针对SF-Faster R-CNN模型未充分利用相邻帧间同一对象特征高度相似的问题,提出了一种基于聚合时序信息的奶山羊视频目标检测模型。本模型将视频帧划分为关键帧与非关键,仅在关键帧上使用特征提取网络进行特征提取,并采用递归特征聚合的方式增强关键帧特征,对于非关键帧特征,则使用轻量级的光流网络通过特征传播得到;接着又引入了时序ROI对齐算子(Temporal ROI Align),该算子在时间序列上利用特征相似性从其他帧的特征映射中提取当前帧候选框的特征。经实验证明,基于聚合时序信息的奶山羊视频目标检测模型在GOAT-Dataset数据集上有较高的准确率和较快的识别速度。最后,设计了基于时序信息的奶山羊视频目标检测系统,可对奶山羊监控视频进行检测。

基于评论文本的深度推荐算法研究

这是一篇关于深度学习,推荐系统,评论文本,时序信息,注意力机制的论文, 主要内容为为缓解互联网信息指数式增长带来的信息过载问题,推荐系统被广泛地应用于诸多领域中。评论文本包含着用户和商品的多元信息,推荐系统可以挖掘这些信息以预测用户对商品的偏好,推荐系统对此开展了丰富的研究。然而,如何提高评论文本语义理解能力,提取评论文本深层次的特征,捕获更全面的用户和商品特征,值得进一步研究。基于以上问题,本文探索了基于评论文本的推荐算法研究。现有的方法通常等价地交互用户和商品的特征,但用户特征表示用户对目标商品的偏好,商品特征表示商品的属性信息,即用户和商品的重要程度不同且不对称。因此,本文提出了基于评论文本自适应特征提取的推荐算法,该推荐算法首先使用动态词嵌入预训练模型BERT解决单词多义性问题,避免语义理解产生的偏差;然后利用Bi-GRU网络和注意力机制提取用户特征和商品特征,增强特征表达能力;最后设计了一种自适应特征拼接机制来平衡用户和商品在特征交互时的重要程度。该模型在6个亚马逊数据集上实验表明性能优于基准模型,自适应特征拼接机制可以有效地平衡用户和商品特征各自的重要程度,提高了预测评分精度。以往基于评论文本的推荐系统通常挖掘静态评论信息,建模用户和商品特征,忽略了用户偏好和商品流行度会随着时间变化而发生偏移的问题。因此,本文提出了基于评论文本长短期特征提取的推荐算法,该推荐算法首先采用词级和评论级两层注意力机制挖掘评论长期特征;然后设计了一种时间注意力层将时序信息和评论文本相结合,捕捉用户和商品的短期特征;最后引入协方差去除长期特征和短期特征间的冗余信息。在4个亚马逊数据集上的实验表明,该模型性能优于基准模型,长短期特征提取网络可以有效提取用户偏好和商品流行度的动态特征,提高推荐性能。

融合时间信息知识图谱自主建模与推理关键技术研究

这是一篇关于知识图谱构建,关系抽取,实体抽取,时序信息,知识推理的论文, 主要内容为工业第四次革命意味着我们即将迈入一个智能时代,人们利用一系列信息技术推动产业转型,传统工业将发生革命性的变化。然而,工业信息的智能化目前还处于研究阶段,存在一定的困难,主要是因为工业数据是异构多源的,且大多是非结构化数据。而随着知识驱动概念的兴起,知识图谱开始走入我们的日常生活,无论是使用谷歌、Bing等搜索引擎,还是使用IBM Watson、Siri和Cortana等智能助手,其实人们每天都在不断地与知识图谱进行交互。目前,知识图谱被科技巨头广泛使用,证明了利用知识图谱存储复杂的数据,并基于此做知识推理以获得隐含知识的切实可行性,知识图谱作为一种实现大规模语义集成和交互操作的新技术,引起了大众的极大关注和研究兴趣,构建方法与推理算法层出不穷。但大多数静态的知识图谱并不足以刻画动态的过程和随时间演变的知识,而面向这些静态知识图谱提出的知识图谱推理补全模型也都忽略了时间信息对推理算法的重要性。现有的知识图谱可以根据包含的领域范围划分,可以分为通用知识图谱和专业知识图谱两大类,通用知识图谱包含了现实世界实体之间的多关联信息,专业知识图谱包含了各种术语实体之间的关联关系。无论是哪一类,绝大多数都是静态的知识图谱,因此基于这些静态知识图谱所衍生出的知识推理算法大都没有考虑时间信息,在应用中,不论是利用知识图谱辅助差错检测,或是利用知识图谱对专家经验建模从而能对工业流程进行优化提供参考,所涉及的大多都是动态过程,静态知识图谱并不足以刻画这样的工业知识,忽略时间信息的重要性,会极大限制知识图谱的可用性和推理算法的准确性。基于上述考虑,本文主要研究的内容和完成的工作有知识图谱的构建和推理两方面,具体如下所述:1)电网知识图谱构建首先完成了电网新闻知识的爬取和清洗工作,在电网数据集和电网专家的经验知识上实现了基于注意力机制的实体抽取,以及利用实体抽取的结果建立自定义词典,将该词典与基于句法分析的方法结合在一起实现了关系抽取,最终结合时间信息构建完成了小型电网行业知识图谱。在知识图谱推理方面,因为大多数现有的知识图谱推理模型仅仅从时间未知的事实中学习,而忽略了知识图谱中有用的时间信息,针对这一点,本文分别考虑了关系时间感知嵌入与实体时间感知嵌入两种方式。2)关系时间感知嵌入考虑了基于关系时间感知方法和基于实体时间信息感知方法,总结了前人大量推理模型,论证了时间信息对提高推理算法能力的可行性。在关系嵌入中考虑时间信息方面,基于该策略改进了基础的Trans系列模型,通过将时间戳分解为由时态标记组成的序列,然后利用递归神经网络来学习关系类型的时间感知表示,并将学习得到的关系时间感知做为的关键项纳入评分函数,同时为了进一步提高模型的预测准确率,我们为不同的关系建立了不同的超平面,以克服头实体关系和时间信息相似情况下,不同尾实体之间的混淆情况。在ICEWS18数据集上的实验结果表明不论在哪个指标上,利用关系融合时间信息都能提高模型表现。3)实体时间感知嵌入在实体嵌入中考虑时间信息,将实体嵌入定义为一个函数,该函数接受一个实体和一个时间节点作为输入,为该实体提供一个该时间节点下的隐藏表示。基于该策略改进了Dist Mult模型,在ICEWS2014和GDELT在数据集上取得了较好的表现效果。

基于时序信息的奶山羊视频目标检测算法研究及应用

这是一篇关于奶山羊,Faster R-CNN,视频目标检测,时序信息的论文, 主要内容为利用智能视频监控技术对奶山羊养殖场进行监测,有助于及时获取羊群动态和异常行为,提高羊场管理效率,降低养殖成本。视频目标检测是智能监控技术的重要组成部分,其检测结果直接影响后续目标跟踪及行为分析的效果。本文以西北农林科技大学畜牧教学实验基地的奶山羊监控视频为研究对象,实现了基于改进Faster R-CNN算法的奶山羊视频目标检测。本文的主要研究内容与结论如下:(1)奶山羊视频目标检测数据集的构建。针对奶山羊视频目标检测数据集不足的问题,首先在奶山羊养殖场安装远程监控设备以获取到原始的奶山羊监控视频,并对其进行格式转换,筛选出有效的视频片段;其次使用FFmpeg对视频片段分帧,Label Img开源工具对帧图像进行标注;最后按照ILSVRC-VID数据集格式组织文件,并将最终的奶山羊数据集命名为GOAT-Dataset,用于后续算法模型的训练。(2)基于特征加权的奶山羊视频目标检测。针对卷积神经网络对视频帧特征信息利用不充分的问题,本文提出了一种基于特征加权的奶山羊视频目标检测模型SFFaster R-CNN。SF-Faster R-CNN在Faster R-CNN和Res Net-50主干网络的基础上,嵌入了改进后的SE通道注意力模块,用于提高卷积神经网络对有效特征的学习权重;引入多尺度特征融合FPN模块,使提取的特征更具丰富的表达能力。经实验证明,SF-Faster R-CNN拥有更好的检测性能,在GOAT-Dataset奶山羊数据集上的检测精度达到了71.54%。(3)基于聚合时序信息的奶山羊视频目标检测。针对SF-Faster R-CNN模型未充分利用相邻帧间同一对象特征高度相似的问题,提出了一种基于聚合时序信息的奶山羊视频目标检测模型。本模型将视频帧划分为关键帧与非关键,仅在关键帧上使用特征提取网络进行特征提取,并采用递归特征聚合的方式增强关键帧特征,对于非关键帧特征,则使用轻量级的光流网络通过特征传播得到;接着又引入了时序ROI对齐算子(Temporal ROI Align),该算子在时间序列上利用特征相似性从其他帧的特征映射中提取当前帧候选框的特征。经实验证明,基于聚合时序信息的奶山羊视频目标检测模型在GOAT-Dataset数据集上有较高的准确率和较快的识别速度。最后,设计了基于时序信息的奶山羊视频目标检测系统,可对奶山羊监控视频进行检测。

基于图神经网络的会话推荐算法研究

这是一篇关于会话推荐,图神经网络,反向位置信息,时序信息的论文, 主要内容为在如今会话推荐算法中,大部分方法都是通过图神经网络来分析会话序列并建模用户的兴趣偏好。但目前大多数基于图神经网络的会话推荐算法都忽略了用户浏览物品的时间信息对推荐效果的影响,且存在着非相邻项的信息传播问题。此外,现有算法也忽略了会话中的各类辅助信息,比如物品转换关系和时序信息等,导致不能对会话序列进行准确建模。因此,为了解决上述问题,本文提出了两种改进的会话推荐算法,并结合所提算法设计了一个小型的个性化电商推荐系统。主要研究工作如下:(1)针对现有的图神经网络会话推荐算法没有充分考虑到用户浏览物品的时间信息,且存在着非相邻项的信息传播问题,提出了一种基于时间信息和Star-transformer的会话推荐算法(Time information and Star-transformer for Session Recommendation Algorithm,TSSR)。首先结合用户浏览物品的时间信息和图神经网络有效提取物品之间大量的复杂转换,捕获会话的局部依赖信息。其次利用Star-transformer网络结构来缓解非相邻项的信息传播问题,并结合多头注意力机制有效捕获会话的全局依赖信息。最后应用一种选通网络结合全局依赖信息和局部依赖信息并串联反向位置信息来生成会话的最终表示,给出用户的推荐列表。在两个公开数据集上的实验结果显示TSSR模型在推荐精准度和平均倒数排名方面均优于最新的会话推荐模型。(2)针对现有的图神经网络会话推荐算法忽略了各类辅助信息,导致不能准确地建模会话序列的问题,提出了一种融合物品转换关系和时序信息的会话推荐算法(Integrate Item Transition Relations and Time-order information for Session Recommendation Algorithm,RTSR)。首先利用图网络结构得到任意两个节点之间的最短路径序列,经过双向门控循环单元(GRU)将其编码为对应物品之间的转换关系,再结合自注意力机制从图的角度捕捉会话的全局依赖信息。同时设计了一种无损图编码方案来缓解会话图编码过程中信息损失的问题,该方案将会话序列中的时序信息进行合理地量化,并将其作为会话图中边的权重,再结合门控图神经网络获取会话的局部依赖信息。最后,线性组合全局依赖信息和局部依赖信息并串联反向位置信息来生成会话的最终表示,给出用户的推荐列表。实验结果表明,把物品的转换关系和会话的时序信息作为会话推荐的额外辅助信息可以有效地提升推荐性能。(3)在上述提出算法的基础上,设计并实现了一个电商推荐系统。首先把RTSR模型作为召回层,将用户的会话序列作为召回层的输入,从而对成千上万的商品进行召回,根据召回结果得到排名前K的推荐商品集。接着将Deep FM模型作为排序层,把推荐商品集输入到排序层对其进行重新排序。最后根据重排结果将排名靠前的商品信息作为最终的推荐结果,利用前端界面展示给用户。根据系统的展示结果证实了该系统能够利用匿名用户的会话序列信息来提高推荐的精度,从而在客户端展示对用户有潜在价值的商品。

基于时序信息和统计信息的动态知识图谱推理

这是一篇关于动态知识图谱,知识图谱推理,时序信息,统计信息,实体预测的论文, 主要内容为知识图谱是实体和关系组成的拓扑结构网络,它可以结构化表示现实世界中的知识。动态知识图谱是在经典知识图谱中加入了时间维度信息,在动态知识图谱上做实体或关系预测,属于知识图谱推理的方向之一,在推理中既要预测可能出现的实体也要预测实体对之间可能出现的关系。依据以往对动态知识图谱的研究,为了提升对动态知识图谱的推理能力,本文提出了一种基于时序信息和统计信息的动态知识图谱推理模型。模型考虑了动态知识图谱中事件的时序性和动态性,还把事件的历史统计信息考虑到了对知识图谱的推理中。对于动态知识图谱推理问题,本文提出的模型主要分为了三个模块,分别是时序信息预测模块、统计信息预测模块和事实预测模块。时序信息预测模块是基于动态知识图谱中事件的时序性和动态性进行推理;其中有三个部分,第一部分是聚合器,模型选用的是RGCN作为聚合器,RGCN可以聚合目标实体周围所有关系下的邻近信息,包括聚合目标实体作为主体和客体的邻近信息。第二部分是编码器,为了对知识图谱中的事件有更好的时序编码,本文选用的是LSTM作为编码器,它可以对聚合信息进行时序编码获得事件之间的时序相关性。第三部分是解码器,解码器的功能是对编码信息进行特征提取和多分类预测,得到待预测实体的概率。统计信息预测模块对于给定(s,r,?,t)任务进行实体o预测的问题,首先是在距离当前时刻前m个时间戳下,统计满足(s,r,?)条件下实体o的信息,然后基于统计的历史信息,进行实体o的预测。事实预测模块在得到基于时序信息预测和统计信息预测的预测结果后,为了对(s,r,?,t)有更准确的预测,对于两个模块的预测结果进行加权融合,获得待预测实体o的最终概率。因为RGCN作为聚合器会聚合目标实体周围所有关系下邻近信息,把目标实体作为客体的信息也进行聚合,那么这部分信息就可能对模型的推理造成影响。为了减少聚合信息中可能的干扰信息,本文提出使用邻近向量均值聚合器代替原有的RGCN聚合器,邻近向量均值聚合器只聚合以目标实体为主体的邻近信息,会让聚合的信息更加准确。实验证明,本文提出的模型通过结合事件时序信息和统计信息,并加权融合两种推理方式的预测概率,让模型在动态知识图谱推理上有了更好的效果。在部分数据集中,使用邻近向量均值聚合器由于减少了聚合信息中的干扰信息,让其获得了更好的推理结果。

基于时序信息的社会化推荐算法研究与应用

这是一篇关于推荐系统,社会化推荐,时序信息,图卷积神经网络的论文, 主要内容为本文针对传统推荐算法中用户兴趣会随着时间变化发生兴趣漂移的现象,运用时序信息作为一种辅助信息,通过对一定时间步长的用户行为信息进行分析,挖掘出用户最近的兴趣喜好。通过使用时序信息有效地缓解用户兴趣漂移的问题。本文针对传统社会化推荐算法中只考虑社会兴趣从而忽略用户本身兴趣的问题,将用户自身的兴趣与社交网络中受到社会影响后的兴趣进行结合,构成用户最终的兴趣,并根据此兴趣对用户进行项目推荐。通过在社会化推荐中加入用户自身兴趣以解决忽略用户本身兴趣的问题。本文通过应用图卷积神经网络,结合时序信息、用户行为信息和社交信息,提出了基于时序信息的社会化推荐的算法,并根据该算法设计并实现了一个社会化推荐系统原型。本文的主要研究工作包括:1.对推荐算法、时序推荐、社会化推荐等算法的研究现状进行了阐述,根据每种推荐算法的优点与不足之处,提出了本文的主要研究内容和创新点,对本文研究的问题和现实意义进行了阐述。2.对于时序信息、社会化推荐、图卷积神经网络的相关内容进行了介绍,在相关理论的基础上,根据一定时间步长的用户的会话信息得到历史行为数据进一步分析用户的兴趣,又结合用户兴趣受到朋友影响的理论,阐述了基于会话的图卷积神经网络算法,描述了算法的框架和实现流程。在Douban、Delicious和Yelp三个数据集上与其他不同类型的推荐算法进行比较,使用了Recall@K和NDCG两个排序的度量标准进行评估,对实验结果进行分析。还针对用户兴趣以及社会化影响进行了对比实验,分析出对于用户当前的兴趣和他的社交属性进行建模是至关重要的,能够有效地提高推荐系统的推荐准确度和性能。3.通过对本文提出的推荐算法进行研究分析,将社会化推荐算法应用到豆瓣的资源推荐中,考虑豆瓣未将社交资源应用到资源推荐中的问题,提出了新的社会化推荐应用场景,以豆瓣网页版为参照,设计并实现了一个社会化推荐系统原型;并对推荐系统的需求分析、总体设计、功能模块进行了详细描述,最后模拟了新用户在本系统中运作的过程。