面向多领域政策的文本分类技术研究与应用
这是一篇关于多领域政策,自然语言处理,文本分类,BERT,上下文信息的论文, 主要内容为在当今大数据的时代中,海量多领域政策文本出现在在日常生活中,如果可以有效利用这些多领域政策文本数据,不仅可以有效的帮助人民理解、维护政策,同时可以协助国家规范执政手段、提升执政效率。正因如此,许多研究人员围绕政策文本展开了研究,希望可以更有效地应用这些数据。作为自然语言处理的重要任务之一,文本分类是许多任务的基础,本文利用多个领域政策的文本分类技术,为多领域政策知识图谱的构建项目做出支撑,针对多领域下的政策文本分类提出了相应的模型,以提升分类任务的精确性。本文针对多领域的政策文本,提出了一种高效准确的通用政策文本分类模型BERT-RC,在预训练模型的基础上,进一步改进文本表示,将更多的文本上下文信息融入到文本特征表示中。模型首先通过预训练模型得到优秀的词向量表示,然后通过双向循环网络充分提取文本的上下文特征,接下来通过卷积神经网络强化局部的文本特征提取、优化文本信息的捕捉、突出内容的特征,最后通过这些文本特征得到文本分类的结果。在政策文本数据上,BERT-RC模型相比于基线模型F1值均有提升,实验表明,本文提出的BERT-RC模型可以优化文本特征表示,提升模型的分类精度,消融实验也证明了模型各个模块的积极作用。同时针对层级性多元文本分类任务,提出了一种快捷有效的HFT-Trans模型,使用Transformer和BERT词向量优化文本特征表示,并利用分层的模型结构解决层级性多元文本分类中下层类别的文本训练数据过少、分类粒度更细致的问题,将上层的模型参数迁移到下层的模型中,使下层模型包含上层模型的分类信息,利用上层的数据促进下层的分类。同时加入了对抗训练,使复杂模型在少量数据集上避免过拟合的问题,动态学习率也加速了模型的最终收敛,在此基础上,最后还加入了集成学习,验证了集成学习的网络确实优于单一网络,可以提升模型的泛化能力。在层级性多元本分类任务场景下,本文提出的HFT-Trans模型取得了较好的结果,实验表明,HFT-Trans模型可以很好的处理层级性多元文本分类任务,提升任务的精度。
基于用户兴趣和险情的自适应景点推荐系统设计与实现
这是一篇关于数据稀疏,上下文信息,长短期偏好,跨区域推荐,景点推荐系统的论文, 主要内容为景点推荐作为兴趣点推荐的热门研究方向,已经被广泛应用于游客出行活动中。伴随着交通工具的发展,游客的出行范围显著扩大,数据稀疏性问题对景点推荐模型造成的负面影响也日益扩大。而随着LBSN等复杂社交网络的发展,如何更加有效地利用日益丰富的游客出行轨迹以及更加细粒度地发掘游客签到行为上下文之间的联系也都成为现如今热点研究方向。另外,近些年的疫情防控等险情预防工作也成为景点推荐系统在应用领域需要完善的方向。考虑上述几点问题,本文研究并设计了基于用户兴趣和险情的自适应景点推荐系统,主要工作如下几点:(1)提出了基于用户局部兴趣的Logistic矩阵分解模型,将局部时空上下文信息抽象为用户局部兴趣,并将其融合到采用概率方法的矩阵因子分解模型中。通过逻辑函数对用户对某个景点的偏好概率进行建模,再融合上下文的时空信息,从局部到整体建模用户全局兴趣。该模型在FourSquare和Gowalla数据集中展示了优于各个基准的性能,通过消融实验验证了局部兴趣的有效性,且在稀疏性实验中的不同稀疏度测试下表现出了稳定的效果。(2)提出了基于时空活动中心的社会化推荐算法,根据用户活动的地理聚集特征建模用户的时空活动中心,并在此基础上对用户社会化关系建模,联合用户显性及隐形社交建模其社会化关系。最终将时间、空间及社会化关系作为上下文信息融入矩阵因子分解方法中。通过对比实验及消融实验,验证了本文提出的社会化推荐算法对于缓解数据稀疏问题的效果。(3)提出了基于用户长短期偏好自适应的景点推荐模型,在LSTM内添加了时空门逻辑,强化模型对于时空依赖关系的学习,并将用户隐状态,景点隐状态以及轨迹序列隐状态结合起来,进一步提出了一种根据上下文信息对长短期偏好进行自适应融合的方案,动态结合用户的短期偏好和长期偏好,完成景点的自适应推荐任务。通过对比实验验证了模型对于个性化景点推荐的提升效果,并通过消融实验验证了各项优化的有效性。(4)提出了基于NVDM-GSM的跨区域推荐模型,利用(3)中的循环神经网络模型获取用户现有签到轨迹体现出的已知兴趣偏好,经过多层感知机的非线性映射函数迁移到异地偏好的向量空间。在此基础上,通过神经主题模型NVDM-GSM对相似用户集合在用户异地区域的出行记录编码和解码,采用变分推理在无监督情况下揭示用户在该区域的出行意愿。最终,将上述用户迁移过的已知偏好和其异地区域的出行意愿结合,得到用户在异地区域的潜在偏好,解决跨区域推荐的冷启动问题和兴趣漂移问题。在两大真实世界数据集上的对比实验中,该模型的推荐结果优于各个基准模型,验证了其在跨区域推荐场景中的有效性。(5)结合上述推荐模型,本文设计并实现了一个基于用户兴趣和险情的自适应景点推荐系统,综合考虑数据稀疏、从复杂签到轨迹提取用户偏好、跨区域推荐的冷启动和兴趣漂移问题等主要问题,并根据用户反馈和实时险情状况及时调整推荐结果,提升了推荐结果的有效性和实时性。
融合时间上下文信息的个性化音乐混合推荐算法研究
这是一篇关于推荐系统,个性化音乐推荐,高斯混合模型,潜在因子模型,上下文信息的论文, 主要内容为面对互联网飞速发展带来的大量音乐资源,用户需要从中快速准确地筛选出自己喜欢的音乐。个性化音乐推荐系统可以为用户推荐符合自身偏好的歌曲,提升用户的使用体验。传统的推荐算法直接应用到音乐推荐领域时,会出现推荐结果不精准的情况。针对此问题,本文中使用高斯混合模型,在预测前对用户进行分类。同时结合时间上下文信息,避免了因时间因素影响用户偏好导致推荐不够精准的问题。本文的主要研究工作如下:1.数据预处理并填充数据。利用可获取的公开数据集,对音乐的播放次数进行处理,将处理后的播放次数作为用户对音乐的评分,构建一个能够有效反应用户与音乐之间关系的矩阵,即用户评分矩阵。2.提出一种结合高斯混合模型和潜在因子模型的推荐算法。首先利用高斯混合模型将偏好近似的用户划分到同一个簇中,然后利用潜在因子模型重构用户评分矩阵并进行预测推荐。最后在百万级别歌曲数据集上进行实验,结果表明该算法提升了预测评分的准确度。3.提出一种融合时间上下文信息的推荐算法。加入时间衰减函数和流行度长尾效应函数来修改相似度计算公式,在通过此算法形成推荐列表后,综合融合高斯混合模型的推荐算法形成的推荐列表,最终形成推荐。最后在百万级别音乐数据集数据集上进行实验,结果表明该算法提高了推荐的准确度。
基于BERT的深度学习推荐算法研究
这是一篇关于推荐系统,BERT,深度学习,上下文信息,协同过滤的论文, 主要内容为推荐系统作为可以解决信息过载问题的重要方法,它能够帮助人们从很多复杂的数据中找到其可能感兴趣的信息。但是现存的推荐技术仍然有很多历史问题,如数据稀疏、冷启动等问题。为了解决上述的历史问题,将物品的描述信息作为辅助信息融合到推荐系统里面已经被证明是非常有效的方法。但是在目前推荐系统的研究中,将文本内容的特征填充到协同过滤算法中,大多数研究在提取文本内容时采用传统的提取文本特征方法,不能有效的结合句子中的上下文,只能对单个词进行分析计算。本文提出应用自然语言处理模型BERT,该模型可以提取文本的特征,来深度挖掘句子中的语义相关性。本文主要使用神经网络搭建的自然语言处理模型BERT对文本信息进行建模,可以在文本中获取文档的上下文语义与关键词信息,提取的特征属性能够更好地应用于评分预测推荐任务。该方法用物品的描述文本信息代替原有的one-hot向量作为物品的输入,然后BERT模型对该文本向量矩阵进行特征提取。将提取到的物品特征向量和用户的特征向量送入矩阵分解的机器学习模型中进行训练,以此来时实现两者的交互形成新的潜在向量。最后将潜在向量经过神经网络学习得出预测评分,再与实际评分计算损失函数进行反向传播训练模型。为了验证本文构建的基于BERT的深度学习推荐模型的推荐性能,我们在MovieLens 1M,MovieLens 10M和Amazon Instant Video三个真实数据集上进行了测试。RMSE值分别为0.7667,0.7758,0.7803。实验结果表明,本文提出的DeepBert模型在基于物品描述文本信息的评分预测任务中具有较好的推荐性能。
基于注意力与潜在关系的群组推荐系统研究与设计
这是一篇关于推荐系统,知识图谱,群组推荐,上下文信息,注意力机制的论文, 主要内容为随着信息时代的快速发展,海量的信息数据呈指数倍增长导致出现信息过载的问题。推荐系统作为缓解信息过载问题的重要方法之一,可以根据用户的偏好为用户提供所感兴趣的服务。然而,目前大部分推荐系统的研究主要针对单用户进行个性化推荐,随着社交网络的不断发展,以群组为单位的活动屡见不鲜,如公司团建,组队旅游等,但是个性化推荐很难满足以群组为单位活动的需求,因此群组推荐系统应运而生,可以为群组提供所感兴趣的服务,成为当今研究的热点之一。在群组推荐系统中,现有的大多数群组推荐系统都是针对固有群组进行推荐,难以挖掘用户的潜在偏好,捕捉用户间的潜在相似关系来发现群组;此外,在群组推荐时还需要考虑群组内的动态复杂性问题,用户偏好之间会彼此影响,最终影响群组推荐的结果。因此,本文主要阐述了挖掘用户潜在偏好来发现潜在群组的技术与方法以及如何缓解群组内的动态复杂性问题,并设计了一种基于注意力与潜在关系的群组推荐系统。主要工作如下:(1)从群组发现角度,针对用户之间存在的潜在关系,提出了一种融合注意力机制与知识图的群组发现方法。该方法通过用户与项目的历史交互数据构建知识图谱,并利用注意力机制来挖掘知识图谱中实体间的高阶潜在关系信息通过聚合获取用户的潜在偏好,然后利用聚类的方法对用户偏好进行划分形成潜在的群组,最后对相关方法进行实验分析。(2)从群组推荐角度,针对群组推荐时组内存在动态复杂性的问题,提出了一种融合上下文信息与自注意力机制的群组推荐算法。该方法利用群组内成员的上下文信息通过自注意力机制学习成员之间的相互影响关系,从而缓解组内的动态复杂性问题,并将群组看作为一个用户进行个性化推荐;最后将提出的群组推荐算法与基准算法进行对比实验,结果表明该方法在推荐的命中率HR与NDCG两个评价指标相比于基准算法均有提高,有效的缓解了群组内的动态复杂性问题,可以得到更优的群组推荐结果。(3)从群组推荐系统角度,本文基于以上方法设计了一种基于注意力与潜在关系的群组推荐系统,该系统是由Movielens数据集构建的电影推荐系统,并使用Python进行系统交互的搭建。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设导航 ，原文地址：https://m.bishedaima.com/lunwen/48613.html
