面向知识图谱扩充的非结构化文本知识抽取研究
这是一篇关于知识抽取,端对端模型,BERT模型,门控循环神经网络,知识构件重叠的论文, 主要内容为随着人工智能技术的快速发展,认知智能的重要性越来越凸显。特别地,知识图谱作为认知智能重要的技术手段,在搜索引擎、智能应用等场景日益展现其突破瓶颈的能力。然而,受限于知识覆盖率较低等问题,当前知识图谱难以广泛地在各个领域推广使用。互联网上存在丰富的非结构化文本,可以作为提升知识图谱覆盖率的重要知识来源。从非结构化文本抽取知识一直是自然语言处理研究中的难点和热点问题。已有的抽取方法或存在误差传播或包含人工特征选择的问题,使其具有一定的局限性,并且会为后期的知识图谱扩充带来许多额外的工作。基于以上背景,本论文主要针对知识图谱扩充的需求,研究以非结构化文本为对象的知识抽取方法,即从非结构化文本中抽取结构形式为{头实体,关系,尾实体}的知识三元组。传统的方法采用分步抽取的方式,面临着人工设计特征过于复杂、误差传播和信息冗余等问题。因此,综合考虑实体与关系的联合抽取方式成为新趋势,但其面对三元组构件重叠问题抽取效果仍不佳。为解决上述问题,本文的研究工作主要包括两部分:首先,本文提出了一种基于标记策略的多层语义结构的知识抽取方法。该方法是一种新的联合抽取方法,可协助解决知识构建的重叠问题。具体而言,首先采用一种特殊的三元组标记策略将知识抽取任务转化为多序列标注任务,即文本中每个属于实体的词可有多个标签,每个标签由三部分组成:实体在三元组中位置、三元组的关系类型以及词在实体中的位置。然后,通过提出的Multi GRU模型实现文本序列与多层标签序列之间的映射关系。其中,Multi GRU模型由编码层与解码层组成,编码层是双向门限循环神经网络(Bi GRU),解码层由多层GRU网络组成,且通过语义向量之间的差异度控制不同GRU层之间的差别。最后,提出了适用于语言特征的连续性、一致性与最近原则,可将标签序列转化为知识三元组。在NYT和KBP两组公开数据集上的对比实验表明该方法优于之前的大多数模型。其次,提出了一种基于预训练模型的自适应标签序列抽取模型以实现知识抽取的目标。该模型包括BERT编码结构以及双向GRU解码结构,与Multi GRU相比,其可基于句子语义特征自动生成每个句子中词语的标签数量,即针对存在知识三元组知识构件重叠的语句,可在模型中动态更新语句的解码行数。在远监督生成的NYT数据集以及存在大量重叠三元组的Web NLG数据集上,该模型F1值达到75.8%和80.1%。结果表明,相比于当前的知识抽取模型,本文提出的方法及模型可以更大程度的保证知识图谱扩充的适用性。
基于评论分析的群组推荐算法研究
这是一篇关于群组推荐,群组划分,领袖决策,门控循环神经网络,卷积神经网络的论文, 主要内容为个性化推荐系统通过分析用户在网络中产生的评分、评论等行为数据,学习用户偏好特征,为单个用户提供精准化推荐,然而在现实生活中,用户往往以群组(团购、外出旅游)的形式出现,如何为群组进行推荐成为近年来的研究热点。现有群组推荐算法大多给定群组划分结果后,融合组内成员偏好进行推荐。然而在多数情况下用户所属的群组难以确定,并且由于群组划分结果会直接影响到群组推荐的性能好坏,因此在群组推荐算法中用户群组划分显得尤为重要。本文从群组推荐算法的群组划分和群组推荐两方面入手,分析现有算法存在的问题,分别提出了基于GRU-CNN的密度峰值聚类群组划分算法和基于领袖机制的群组推荐算法。(1)在群组划分阶段,现有群组划分算法大都存在以下问题,第一,仅利用用户静态偏好特征发现网络中的群组结构,忽视了用户兴趣会随时间的变化而发生迁移,第二,利用从评论中提取的用户主题特征进行群组划分,难以挖掘用户评论文本的深度特征。针对上述问题,本文提出一种基于GRU-CNN的密度峰值聚类群组划分算法,首先利用潜在的狄利克雷主题模型对用户评论进行主题分析,提取出评论中有代表性的的主题词,然后基于门控循环神经网络对评论主题的时序信息进行建模,提取用户动态主题特征,同时融合卷积神经网络挖掘评论主题的深层次特征,最后基于深度混合特征利用密度峰值聚类算法进行群组划分。在真实数据集上的实验结果表明,这种融合深度神经网络模型挖掘到的特征能够有效地捕捉用户动态兴趣偏好,群组划分效果优于现有算法。(2)在群组推荐阶段,现有群组推荐算法问题如下,第一,忽视了群组结构对推荐系统计算规模的影响,第二,忽略了组内权威性较高用户对组内成员的影响。针对以上问题,本文提出一种基于领袖机制的群组推荐算法,首先对组内成员的影响力进行建模,综合考虑成员间的交互和活跃度等因素,选取群组中权威性高的用户作为领袖,然后采用领袖决策的方式产生群组推荐结果,由于领袖大多具有较高的专业度,推荐结果能够满足大多数成员的偏好。在真实数据集上的实验表明,该算法的推荐结果准确率明显高于主流群组推荐算法。本文共有图33幅,表9个,参考文献83篇。
融合上下文信息的深度学习兴趣点推荐研究
这是一篇关于兴趣点推荐,位置社交网络,上下文信息,门控循环神经网络,自注意力机制的论文, 主要内容为伴随着信息技术与社交网络的快速演进,位置社交网络(Location-based Social Networks,LBSNs)已逐步成为现代社会生活的关键组成部分。LBSNs允许用户在特定地理位置签到、分享信息和互动,从而促进了人们在现实世界中的社交互动和信息交流。在这样的背景下,基于位置的兴趣点(Points of Interest,POI)推荐系统应运而生。现有的POI推荐系统主要依赖于用户签到数据、位置数据和用户间的社交关系。虽然这些信息在一定程度上有助于捕捉用户的兴趣和偏好,但仍存在对上下文信息考虑不够全面的问题。另一个挑战在于,用户的兴趣和需求随时间推移和生活环境变化而发生变化,这导致了推荐系统在捕获用户动态兴趣方面的不足。针对上述局限,本文对上下文信息融合深度学习方法的兴趣点推荐方法进行研究。(1)针对兴趣点推荐中上下文信息即社交关系考虑不足的问题,提出了一种融合社交关系强度与地理位置信息的GRU(Gated Recurrent Unit)兴趣点推荐算法——SG-GRU。首先构造用户和POI之间的带权异构图,根据用户社交关系强度、签到序列以及地理位置信息,设计了新的边权重计算方法对异构图进行优化,通过图嵌入得到用户和POI的形式化表征,从而利用门控循环神经网络建立用户的序列兴趣偏好模型。最后,根据每个用户的POI最终得分向用户推荐TOP-K的POI列表。在两个公开数据集Gowalla和Brightkite上进行了实验验证,结果表明本文提出的SG-GRU方法优于所给出的5个POI基准推荐模型,与其中最优的基准模型GEAPR相比,在两个数据集上F1-score@10分别提升了5.2%和7.2%,较好地验证了推荐模型的有效性。(2)针对现有的基于单向结构神经网络的推荐算法对用户动态兴趣建模和对用户签到记录之间的时间间隔以及POI之间的空间距离考虑不足,导致推荐准确度较低的问题,本文提出了基于双向自注意力机制融合用户时空偏好的兴趣点推荐模型(Point-of-Interest Recommendation based on Bidirectional Self-Attention Mechanism with Spatio-Temporal Preference,BSA-ST-Rec)。首先,根据用户签到时间顺序提取签到序列、时间间隔,空间间隔等特征信息。然后,本文将POI的特征信息进行嵌入,分别表示为序列嵌入和时空融合嵌入。接着,将这些特征信息作为改进的信息源,与双向自注意力机制进行融合,从而能够更好地理解用户的动态兴趣偏好。最终,本文可以通过这种方式对用户的下一个兴趣点进行预测,从而提高POI推荐的性能。在公开数据集Foursquare和Gowalla上进行了相应的实验,并与基准方法进行了对比。实验结果表明,本文提出的方法能够显著提高POI推荐的准确度,进一步验证了该方法的有效性。
融合上下文信息的深度学习兴趣点推荐研究
这是一篇关于兴趣点推荐,位置社交网络,上下文信息,门控循环神经网络,自注意力机制的论文, 主要内容为伴随着信息技术与社交网络的快速演进,位置社交网络(Location-based Social Networks,LBSNs)已逐步成为现代社会生活的关键组成部分。LBSNs允许用户在特定地理位置签到、分享信息和互动,从而促进了人们在现实世界中的社交互动和信息交流。在这样的背景下,基于位置的兴趣点(Points of Interest,POI)推荐系统应运而生。现有的POI推荐系统主要依赖于用户签到数据、位置数据和用户间的社交关系。虽然这些信息在一定程度上有助于捕捉用户的兴趣和偏好,但仍存在对上下文信息考虑不够全面的问题。另一个挑战在于,用户的兴趣和需求随时间推移和生活环境变化而发生变化,这导致了推荐系统在捕获用户动态兴趣方面的不足。针对上述局限,本文对上下文信息融合深度学习方法的兴趣点推荐方法进行研究。(1)针对兴趣点推荐中上下文信息即社交关系考虑不足的问题,提出了一种融合社交关系强度与地理位置信息的GRU(Gated Recurrent Unit)兴趣点推荐算法——SG-GRU。首先构造用户和POI之间的带权异构图,根据用户社交关系强度、签到序列以及地理位置信息,设计了新的边权重计算方法对异构图进行优化,通过图嵌入得到用户和POI的形式化表征,从而利用门控循环神经网络建立用户的序列兴趣偏好模型。最后,根据每个用户的POI最终得分向用户推荐TOP-K的POI列表。在两个公开数据集Gowalla和Brightkite上进行了实验验证,结果表明本文提出的SG-GRU方法优于所给出的5个POI基准推荐模型,与其中最优的基准模型GEAPR相比,在两个数据集上F1-score@10分别提升了5.2%和7.2%,较好地验证了推荐模型的有效性。(2)针对现有的基于单向结构神经网络的推荐算法对用户动态兴趣建模和对用户签到记录之间的时间间隔以及POI之间的空间距离考虑不足,导致推荐准确度较低的问题,本文提出了基于双向自注意力机制融合用户时空偏好的兴趣点推荐模型(Point-of-Interest Recommendation based on Bidirectional Self-Attention Mechanism with Spatio-Temporal Preference,BSA-ST-Rec)。首先,根据用户签到时间顺序提取签到序列、时间间隔,空间间隔等特征信息。然后,本文将POI的特征信息进行嵌入,分别表示为序列嵌入和时空融合嵌入。接着,将这些特征信息作为改进的信息源,与双向自注意力机制进行融合,从而能够更好地理解用户的动态兴趣偏好。最终,本文可以通过这种方式对用户的下一个兴趣点进行预测,从而提高POI推荐的性能。在公开数据集Foursquare和Gowalla上进行了相应的实验,并与基准方法进行了对比。实验结果表明,本文提出的方法能够显著提高POI推荐的准确度,进一步验证了该方法的有效性。
基于用户分类与多模态机器学习的主动服务推荐方法研究
这是一篇关于聚类,需求预测,服务推荐,注意力机制,门控循环神经网络的论文, 主要内容为随着用户服务推荐技术逐渐成熟,推荐的核心部分需求预测方法的研究得到了广泛关注。由于用户数据随着网络发展演变为数据量大、数据类型多、数据稀疏的特点,面对如此大量丰富的信息,用户通常希望能够很快的找到自己想要的服务项的信息,而如何更加精准的预测用户需求,为用户推荐更好的服务质量面临巨大挑战。本文经过比较不同聚类算法的特点,结合聚类处理的用户数据进行分类,针对不同的预测模型的对比,结合深度学习方法改进提升模型预测精度,并通过大量实验验证预测模型的性能。本文主要工作内容和研究成果包括:(1)为了能够更好的为推荐方法提供服务,就需要从具有实际意义的用户数据进行处理,面对大量的用户数据,在保证用户的个人隐私安全情况下,采用无监督模式。将高维度的用户数据进行归一化处理并降低维度,减少稀疏性;然后通过改进的聚类方法对用户进行分类并标注;结合内部评估指标改进的轮廓系数(Silhouette Coefficient)进行不同聚类算法间的实验对比,获得理想的用户蔟类,并为下一步的用户需求推荐预测做数据准备。(2)主动服务推荐已经成为实现智能服务、提升用户体验的重要技术,而如何精确地预测用户的服务需求成为当前亟需解决重要问题之一。针对这一个问题,本文根据上一步的用户聚类结果,将同类用户数据信息使用的商品信息的文本数据和图像数据相结合,构建了一种基于软注意力机制与多模态机器学习(Soft Attention and Multimodal Machine Learning,SAMML)的主动服务需求预测方法。本文构建的这种方法首先需要从用户历史商品信息中分别提取文本数据信息和图像数据信息的特征向量,并将两种特征向量进行特征融合实现多模态的数据特征共享,用来使用户与商品服务关联性有更好的表达;接着通过软注意力(Soft Attention,SA)机制主动的将特征共享后的特征数据进行处理,然后将融合数据处理后所得的结果输入进门控循环单元网络(Gated Recurrent Unit,GRU),使GRU能够通过两种数据类型更好地学习用户的历史商品服务兴趣;最后将用户特征与服务特征数据结合训练SAMML模型,使用训练好的SAMML模型实现用户的主动服务需求精确的预测。基于天池大数据众智平台提供的数据集(Debiasing)进行了大量的验证实验,首先通过数据预处理,通过聚类方法进行用户分类,再将相似度高的用户蔟类数据通过SAMML模型进行预测,进一步为推荐系统提供更准确的精度,在评估指标MAE、MSE、R2上SAMML模型分别比对比模型提高5.81%、6.45%、6.0%。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码助手 ，原文地址：https://m.bishedaima.com/lunwen/54690.html
