基于图神经网络的物品协同过滤推荐算法研究

这是一篇关于推荐算法,同质图,图卷积神经网络,自监督学习,注意力机制的论文, 主要内容为协同过滤是推荐系统中应用最广泛的推荐算法,基于物品的协同过滤具备很强的可解释性、实时性和准确性。伴随图神经网络技术的发展,基于图神经网络的协同过滤推荐受到了研究者的广泛关注,但是现有工作仍然存在进一步改进和提升的空间。本文对已有的研究工作进行了分析并从图结构建模、邻域信息噪声和数据稀疏性三个方面对图神经网络的物品协同过滤推荐算法进行了研究。首先,提出了一种物品同质图邻域聚合推荐方法。该方法从图结构建模角度对物品-物品同质图进行建模,增强了节点之间的紧密性,并利用图卷积神经网络对物品邻域协作信息进行聚合。同时,从降低邻域信息噪声角度设计残差连接因子分解模块来缓解潜在噪声对模型性能的影响,以提升模型推荐的准确性。其次,针对数据稀疏性问题,本文提出了基于自监督学习的物品信息增强推荐方法。该方法利用自监督对比学习策略,构建正负样本辅助监督信号,利用多任务学习策略,将有监督与自监督两个任务相结合,以缓解数据稀疏问题。为了增强模型的性能,本文还设计了基于注意力机制的层信息组合模块,个性化每一个卷积层的信息组合权重,能够使模型更好的学习物品嵌入表示,提升模型的推荐性能。最后,本文对Music,Last-FM,Yelp三个数据集在Recall和NDCG两个评估指标上进行了实验,并与FM、FISM、NAIS、GCMC和Light GCN基线模型进行了对比,同时还研究和探索了模型的关键模块与重要实验参数,分析和验证了本文提出的方法在提高推荐效果方面的有效性。

基于自监督学习的温室移动机器人位姿跟踪方法研究

这是一篇关于卷积神经网络,农业移动机器人,位姿跟踪,自监督学习,深度学习,视觉里程计的论文, 主要内容为近几年来,计算机视觉技术发展迅速,位姿估计在移动机器人自主作业过程中具有重要作用,本文对温室农业移动机器人的深度和位姿信息预测方法进行研究。针对本研究场景中的困难,本文选用基于自监督学习的模型进行位姿估计,将位姿估计问题转换成图像重构问题,避免了大量的数据标注工作,也有效地解决了无监督学习的准确性问题。本文针对农业移动机器人在温室场景下实现位姿估计,提出一种基于时序图像的自监督学习的位姿变换矩阵估计,根据温室场景光照的复杂性、农业移动机器人工作背景颜色、纹理单一的问题,设计网络结构、定义损失函数,实现农业移动机器人行进过程中预测精准的位置及姿态信息并根据该信息实现机器人运动轨迹跟踪的功能,并使其具有良好的场景实用性和鲁棒性。首先,本研究构建温室番茄植株双目图像数据集,通过遥控轮式移动机器人采集连续双目图像构建本文试验的训练和测试数据集。利用SIFT算子提取特征点,匹配特征,根据双目相机成像原理获取深度真值,构建深度真值数据集;同理,完成特征匹配,使用EPn P算法获取连续帧间位置及姿态真值,构建位姿变换真值数据集,为验证模型深度恢复和位姿估计的精准性提供实际值数据。其次,本研究设计U-net架构的卷积自编码器,其中选用更深层次的卷积神经网络Res Net-50作为CAE中编码器,Leaky Re LU函数作为编码器中的激活函数,构成本研究深度恢复和位姿估计的网络结构。基于本研究设计的网络结构进行模型训练,位姿跟踪的绝对位姿误差RMSE为10.21厘米,其均值为7.79厘米,计算速度为3.1 examples/s,本研究模型在温室背景下具有实用性。最后,引入双目基线约束,提出基于时序图像的自监督学习位姿估计模型,以连续的双目图像序列作为模型训练样本,通过同步的双目图像以及相邻帧图像进行图像重构;通过引入归一化遮罩处理解决非刚性场景和植株相互遮挡问题;针对温室田间场景下复杂的光照条件,本文引入census变换原理对光亮一致性进行约束,将L1范数、SSIM以及census函数有机地组合在一起,提出一种表观差异度量函数。以最小化重构图像与原图像之间的表观差异度量函数为模型训练目标,基于本文构建的方法实现深度估计和位姿估计功能。本研究方法与Monodepth2模型相比,深度估计的Rel下降了5.87个百分点,位姿跟踪相对位移误差RMSE降低了46.95%,相对姿态误差RMSE降低了22.77%,绝对位姿误差RMSE降低了39.66%,本研究模型在深度恢复和位姿跟踪性能上均有明显提升。此外,本研究通过对比移动机器人不同移动速度、以不同分辨率图像作为输入模型位姿跟踪的精度,对本研究模型位姿跟踪的有效性进行分析,试验结果表明:在移动机器人不同运行速度下,本研究模型绝对位姿误差RMSE均低于10cm,输入不同分辨率图像,预测轨迹与实际轨迹吻合度均较高,本研究模型位姿跟踪对移动机器人运行速度和输入图像分辨率具有鲁棒性。在正常光照环境下模型预测的深度值与实际深度值之间的平均相对误差为8.91%,不理想光照环境下平均相对误差控制在10.97%～16.22%的范围之内,光照环境对模型实现深度估计的性能影响较大;在有效的采样距离范围之内,本文模型深度估计的平均相对误差控制在9.36%～14.68%,可知采样距离对本文模型深度估计的性能影响较小。本研究模型在实际的温室场景下具有实用性,能为农业移动机器人的视觉系统提供可靠的三维信息。

无负样本的图对比学习方法研究

这是一篇关于图对比学习,图表示学习,自监督学习,图神经网络的论文, 主要内容为图作为一种非欧式数据,常常被用来描述社交网络、生物医学、经济网络、学术引用、知识图谱、神经网络等信息。图对比学习旨在以自监督的方式学习高质量的图特征表示,有利于提升后续节点分类等任务性能。虽然图对比学习取得较大进展和广泛应用,甚至在某些场景下超过了有监督学习方法,但仍存在以下问题:基于负样本的图对比学习方法受选取的负样本数量、质量影响较大,且大量负样本显著增加时间和空间消耗;现有图对比学习方法存在维度坍缩风险;现有图对比学习方法的鲁棒性还有待提高。针对以上问题,本文提出两种无负样本的图对比学习方法,具体贡献如下:(1)针对图对比学习维度坍缩问题,提出一种基于混合损失函数的无负样本图对比学习方法。该方法设计一种方差损失项,用于约束嵌入特征维度的方差保持在阈值以上,保证每个维度同样有可能触发,避免某些维度始终处于活动或者非活动状态,从而避免表示的坍缩。然后与基于Siamese式结构设计的CCA-SSG损失融合,提出了一种混合损失函数,用于训练无负样本图对比学习模型。在公开图数据集上开展了广泛实验,结果验证了提出方法的有效性。(2)针对图对比学习鲁棒性不高的问题,提出一种基于三重分支的无负样本图对比学习方法。该方法借鉴传统神经网络中三分支对比学习方法,将其迁移至图对比学习中,提出非对称结构的三重分支模型,即由一个在线编码器和两个目标编码器构成。然后通过最大化在线编码器输出与两个目标编码器输出之间的相似度进行模型训练。在多个公开数据集上的实验结果充分验证了基于三重分支的无负样本图对比学习方法的有效性。综上所述,本文从探究图对比学习方法如何学习到高质量的图特征表示出发,针对其中的一些关键问题,提出了两种无负样本的图对比学习方法,并通过综合实验验证了所提方法的有效性。

基于迁移学习和自监督学习的跨域社交推荐算法研究

这是一篇关于社交推荐,跨域推荐,迁移学习,自监督学习的论文, 主要内容为随着社交平台的不断发展,越来越多的社交推荐方法被提出用于缓解推荐系统的数据稀疏性问题,提高产品推荐性能,满足用户更高的个性化需求。然而,大多数社交推荐基于以下约束:用户必须是在有历史产品交互记录的基础上,同时具有社交关系,这样才能学习用户潜在的兴趣偏好。而在真实场景中,绝大多数用户往往只具备社交关系而无历史产品交互记录。因此,解决这类社交冷启动用户的个性化推荐问题,可以很大程度上提升用户体验,增加用户黏性,提高社交平台的推荐成交率。本文旨在解决社交冷启动用户的产品推荐问题,即向只有社交关系而无任何产品历史交互记录的用户进行产品推荐。本文从跨域推荐的角度出发,针对跨域中的信息异质性和桥梁用户依赖两个难点,提出两种跨域社交推荐方法。在跨域社交推荐中,本文根据用户行为属性的不同,将用户与产品间的交互集合定义为信息域,用户间的交互集合定义为社交域。首先,针对跨域间的信息异质性问题,提出一种基于迁移学习的跨域社交推荐方法。该方法基于迁移学习中常见的“共享-私有”的思想,旨在学习跨域间信息传递的同时,保留各个域的私有特征,解决不同域间的信息异质性问题。该方法通过学习用户的共享特征和私有特征,并对桥梁用户在两个域中学习到的共享特征进行相似性约束,构建两个域间的直接联系;利用桥梁用户学习社交域到信息域上共享特征和私有特征的两种映射函数,构建两个域间的间接联系,随后将社交冷启动用户表征从社交域映射至信息域中,通过与产品表征点积的方式进行评分预测,以此更细粒化地提高跨域社交推荐中的用户特征精度,缓解社交冷启动用户问题。该方法在两个数据集上的实验结果都验证了其有效性,同时也表明了该方法一定程度上依赖桥梁用户数量的问题。随后,针对跨域社交推荐中的桥梁用户数量依赖问题,提出一种基于自监督学习的跨域社交推荐方法。由于当桥梁用户很少时,无法提供充分的共享信息构建跨域间的映射关系,因此该方法提出两个模块:1)异构图学习模块:社交冷启动用户与产品通过桥梁用户在异构图中构成连接,通过图卷积网络进而学习高阶的用户以及产品表征;2)自监督学习优化模块:异构图的稀疏信号给用户以及产品表征学习带来了挑战。为此,引入自监督学习模块,通过约束异构图局部表征和全局表征互信息最大化来构造自监督信号,帮助模型进一步优化。该方法在两个数据集上的实验结果证明了该方法可以有效缓解桥梁用户数量非常有限时的社交冷启动问题。

基于用户长短期兴趣的自监督序列推荐算法研究

这是一篇关于序列推荐,超图,自监督学习的论文, 主要内容为近年来,深度神经网络因其在捕捉、建模用户偏好方面的有效性而被广泛应用于推荐系统中。同时,超图与自监督学习也在推荐系统领域逐渐进入人们的视野之中,且已取得不错的成就。针对下一项的推荐任务,本文对目前已有工作存在的问题进行以下总结:(1)以往人们利用用户的长期兴趣和短期兴趣间的互补关系进行推荐,但本文发现二者拥有相同的推荐目标,故也存在制约关系。(2)用户在当前会话中的顺序行为会对推荐有一定贡献。(3)用户的短期兴趣在下一个项目预测、推荐中起着重要作用。本文针对以上问题将做出以下改进:(1)本文为充分发挥用户长短期兴趣间的互补与制约关系,创新性地将自监督学习应用到用户长短期兴趣的利用上,使用户长短期兴趣间的互信息最大化以建模更准确的用户兴趣表征。(2)考虑到近期超图卷积在用户短期兴趣建模上取得的成就,本文将超图卷积应用到用户的短期兴趣建模上,同时,本文也首次在构建超图时考虑了交互序列中的顺序关系。综上,本文提出了一种结合用户长短期兴趣的自监督推荐网络(Self-supervised Recommendation Network with users’Long and Short-term interests,SRNLS)来解决上述问题。SRNLS主要由三个主要的组件组成,具体为:(1)通过GRU来捕获用户的长期序列上的兴趣演进。(2)通过超图卷积与软注意力对用户的短期兴趣进行建模,表现为超图卷积更新短期序列上的项目表示,之后通过软注意力机制建模用户短期兴趣。(3)提出了长短期兴趣自监督学习组件(Self-Supervised Learning,SSL),此组件通过对用户长短期兴趣的自监督学习,能更好地发挥用户长期兴趣与短期兴趣间的制约关系。在常见的电影数据集MovieLens-100K和MovieLens-1M上进行了大量实验,结果表明SRNLS在捕获用户偏好方面明显优于先进基线。

基于强化学习和自监督学习的多生物医学事件抽取研究

这是一篇关于生物医学事件抽取,强化学习,生物医学文本建模,自监督学习,数据扩充的论文, 主要内容为生物医学事件抽取旨在从生物医学文本中抽取出细粒度分子水平的交互过程,并将抽取结果以结构化的方式表示出来,进而可以帮助相关领域知识库和知识图谱的构建。尽管根据不同策略,国内外学者提出了多种生物医学事件抽取方法,但是由于生物医学领域的特殊性,已有方法的效果并不理想。首先,生物医学文本中通常包含大量的领域专有名词和缩写,导致相关的文本表示学习十分困难。其次,在生物医学文本中,一个句子里包含多个事件是一种常见的现象,而且这些事件之间往往会有一定的语义关联,传统方法大都无法有效地抽取这类事件。最后,对生物医学文本进行标注需要标注者具有一定的领域知识,而且耗时费力,导致有标签生物医学文本的规模十分有限,对事件抽取模型的训练造成了很大的阻碍。鉴于此,本文将强化学习和自监督学习的相关理论应用于生物医学多事件抽取任务。具体地,本文的主要工作如下:(1)针对句子中存在多个事件的问题,本文提出了一个基于强化学习的多生物医学事件抽取模型。在该模型中,事件触发词识别和事件元素检测分别被视为主任务和附属任务。在主任务中,触发词的事件类型识别被设置为强化学习框架中的“行动”,而相应附属任务中的事件元素检测结果被用来计算当前“行动”的“奖励”。同时,已抽取的事件还被建模为“环境”的一部分,以帮助后续的事件抽取任务。此外,为了在一定程度上解决生物医学文本建模的问题,该模型中还引入了外部生物医学知识库,用于改善生物医学文本的词表示学习。在两个典型的生物医学事件抽取数据集MLEE和GE13上的实验结果证明了该方法的有效性。(2)针对生物医学领域有标签数据稀缺的问题,本文提出了基于自监督学习的多生物医学事件抽取模型。在该模型中,利用自监督学习方法设计了五种数据扩充策略,并通过预训练的方式改善生物医学文本表示,一定程度上缓解了有标签数据稀缺的问题。此外,通过改进强化学习框架中采取“行动”的策略,减小了模型的选择空间,降低了由事件类别不平衡对模型事件抽取性能的影响。在两个常用的生物医学事件抽取数据集MLEE和GE13上的实验结果证明了所提出方法的有效性。

基于自监督学习的超声图像分割与分类方法研究

这是一篇关于自监督学习,超声图像,卷积神经网络,Transformer,知识蒸馏的论文, 主要内容为深度神经网络由于具有从高维数据中学习丰富语义特征的卓越能力,在广泛的机器学习任务中取得了巨大的成功。然而由于其有监督的学习方式,通常需要大量的人工标记数据才能成功地学习这些特征,这既昂贵又不实用。尤其在医学图像领域,考虑到病人的隐私问题无法获得大量公开数据,且因医学图像难以识别,必须专业医师才可准确标注,因此在医学领域中往往无法获得大量已标注好的医学图像数据,这是医学领域辅助诊断中最大的难题之一。自监督学习属于无监督学习中的一种,其使用输入数据本身的相关信息作为监督信号,具有更高的数据效率和更强的泛化能力,能够解决标注样本较少的问题。本文基于自监督学习思想提出了超声图像的分类与分割算法,研究工作和成果如下:(1)提出了一种基于掩码重建的自监督超声图像分割算法。通过掩膜重建的辅助任务,使用多个均匀分布的掩码块将原始超声图像覆盖,以训练模型重建原始图像的方式完成自监督学习,在不使用任何标记数据的情况下即可学习语义特征。同时,针对卷积神经网络的局部性缺点,提出了一个新的分割网络SEAT-U-Net,使用Transformer编码器和U-Net编码器共同对超声图像进行特征提取,再使用通道注意力机制融合两者特征,从而提升模型的分割能力,进一步提高分割精度。在甲状腺与乳腺超声图像数据集上的实验结果表明,SEAT-U-Net可在更少的标注数据下达到更高的分割精度,比当前SOTA的方法更具竞争力,尤其在乳腺图像的迁移学习实验中依旧取得的较好的效果,证明SEAT-U-Net在实际使用中的有效性和泛化性。(2)提出了一种基于知识蒸馏的自监督超声图像分割算法。结合基于响应的知识蒸馏方法,将教师网络对超声图像的预测结果作为目标知识,使用KL散度作为损失函数对规模更小的学生网络进行知识迁移,以此构建自监督学习辅助任务,实现在未标注样本上的预训练。之后再使用少量由专业医师标注的超声样本进行微调,完成病灶区域的识别。在两个超声图像数据集上的实验结果表明,本方法拥有更好的泛化性并取得了较好的效果。(3)提出了一种基于旋转角度预测的自监督超声图像分类算法。原始超声图像经过随机旋转变换后输入模型中,通过预测旋转角度的方式构造图像分类的自监督学习辅助任务,在不使用任何标记数据的情况下学习相关语义特征。同时提出AM-Efficient Net模型,将Vi T对超声图像提取到的注意力图作为一次特征工程,使用两个Efficient Net分别对原始超声图像和其注意力图进行特征提取,综合使用原始图像的特征与和注意力图的特征完成对超声图像的良/恶性分类,提升模型的分类能力,使模型达到更好的准确度。在两个超声图像数据集上的实验结果表明,本文提出的双分支AM-Efficient Net可挖掘无标注数据的价值,在更少的标注数据下达到更高的分类精度,具有良好的泛化性。

面向推荐模型的图聚类采样方法研究

这是一篇关于采样,自监督学习,图聚类,图神经网络,推荐系统的论文, 主要内容为个性化推荐系统是当前互联网产品不可缺少的部分,尽管推荐模型已经发展至与图神经网络相结合的阶段,相应的采样技术却并未得到足够的重视。然而,采样方法对于推荐模型效果的影响不容忽视。近几年关于负采样的研究大多关注难负样本,即与正样本相似的负样本,难负样本使模型更好的学习到正负样本的边界。然而,过分追求难负样本可能导致伪负样本问题,即把用户未来可能发生交互的物品当作负样本,使得模型效果变差,现有方法并不能很好的平衡二者关系。另一方面,之前的推荐方法大多使用均匀分布进行正采样,然而移动互联网时代的用户交互方式正发生改变,正样本中也存在着由于误点击导致的伪正样本,正采样策略需要得到调整。为了解决上述问题,提出一种面向推荐模型的图聚类采样方法(Graph Clustering based Sampling,GCS)。GCS将自监督学习和图神经网络结合进行预训练,拉近正样本,推远负样本,使学习到的节点表征具有较强类别性,并对学习到的节点表征聚类,基于聚类结果制定正负采样策略。具体来说,针对难负样本与伪负样本问题,GCS在图聚类的基础上使用动态负采样,挖掘难负样本同时避免伪负样本;针对伪正样本问题,利用聚类结果调整采样分布,进行全类别正采样,学习用户完整喜好,同时过滤伪正样本,从而提升推荐模型的效果。在ML-1M、Beauty和TikTok三个不同规模的数据集上验证GCS算法的效果,并与当前效果最好的方法进行对比。实验结果表明,GCS在三个数据集上均可取得一定的提升。此外,通过消融实验证明了GCS算法各模块的有效性,通过超参数实验确定GCS算法对不同超参数的敏感程度。

融合评论语义的用户商品交互图表示学习推荐算法研究

这是一篇关于推荐系统,自监督学习,评论语义,图神经网络,图对比学习的论文, 主要内容为随着移动网络的发展,线上数据呈现出爆炸式增长的趋势,导致了严重的信息过载问题。以电子商务平台为例,用户难以在海量商品中快速准确地找到自己感兴趣的商品。现实的问题凸显出电商推荐相关研究的必要性。研究人员对此提出大量推荐算法,但已有模型依然面临以下两个问题:(1)部分方法没有研究评论文本对交互学习的辅助作用,忽略了用户-商品交互图中高阶特征的影响,也未考虑交互异构图中同质节点在信息传播中的影响。(2)用户-商品交互图中交互数据分布不平衡,并且图上监督信号弱,仅使用观察到的交互信息不能充分学习图结构的潜在特征。针对以上问题,本文主要研究内容和成果如下。(1)为了充分挖掘用户-商品交互图结构信息,本文提出融合评论语义的同质图注意力网络推荐算法HR-GAT。该方法首先利用卷积神经网络提取评论特征并将其转化为向量表示,以此挖掘细粒度语义信息。然后将评论表示作为边信息传播至高阶邻居节点,并利用图注意力网络学习不同邻居对于中心节点的影响。最后使用自注意力机制,将同质聚合节点与图中对应节点相互迭代更新,增强同质节点在信息传播中的影响。在五个亚马逊推荐数据集上进行实验,结果显示该模型达到了优于其他基线模型的推荐效果,验证了融合评论文本和用户-商品交互图对推荐任务的有效性。(2)为了缓解因交互数据稀疏导致的监督信息不足问题,本文在HR-GAT的基础上,设计基于图对比学习的推荐算法CL-HR-GAT。该方法首先使用边扰动和点丢弃的方法对交互子图进行数据增强,得到同一交互子图的两种不同视图。然后使用HR-GAT对不同视图进行编码,获得其向量表示。之后将二者映射到同一隐空间,以便调整视图表示。最后对两种视图表示进行对比自监督学习,提取交互图上的隐含特征。在五个亚马逊推荐数据集上进行实验,结果表明该模型相较于其他基准模型推荐准确性更高,验证了图对比学习辅助自监督模型对推荐任务的有效性。