基于深度神经网络的方面情感分析研究
这是一篇关于方面词提取,方面情感分析,深度学习,注意力机制,BERT语言模型的论文, 主要内容为随着社交网络与电商平台的兴起,越来越多的人乐于在线上发表有关于购物、旅游、服务等的评论,这些带有个人主观情感态度的网络文本在信息发现、推荐系统搭建等方面极具价值。在情感分析领域,文档级和句子级的情感分析只能挖掘整体的情感极性信息,无法分析用户对于文本中具体实体或属性的情感及意见,因此方面级情感分析应运而生,其中方面可为某个实体或属性。近几年深度学习的发展与广泛运用,也为方面级情感分析任务提供了新的解决方法。本文主要研究网络文本的方面级情感分析。新闻文本数据有涵盖面多、覆盖领域广等特点,现有方法的词向量大都缺乏上下文语义信息,本文使用多任务语言模型学习含有上下文语义表征的动态词向量,基于Bi LSTM-CRF模型提出了方面词提取方法。最后与Bi LSTM、LSTMCRF等其它5种模型进行对比。实验结果表明,本文基于Bi LSTM-CRF模型提出的方面词提取方法具有较好的性能,精确率P、召回率R和F1值都有明显的提高。现有方法在方面情感分类中使用的传统注意力机制,缺乏方面词和原始文本的交互关系的充分挖掘,导致信息丢失的问题,本文基于BERT-LSTM-IAN模型提出了方面情感分类的深度神经网络模型。该模型通过BERT预训练语言模型动态生成每个词的上下文语义表征,同时考虑了方面词对上下文与上下文对方面词的交互影响,更深层地挖掘了它们之间的特征信息。与SVM、TD-LSTM等8种模型对比,BERT-LSTM-IAN模型的分类性能最优。本文以上述方法为基础在新闻文本情感分析上进行了应用研究,通过与现有的方法进行对比,验证本文提出的方法在实际运用中的有效性。
基于网格标签的文本方面情感分析研究与应用
这是一篇关于方面情感分析,网格标签,维度压缩,旋转位置编码,互学习,数据扩充,token-word网格的论文, 主要内容为情感分析是围绕人们对诸如产品、服务、组织等实体的态度、观点、情绪的分析。文本情感分析即是情感分析以文本作为统一载体,目前文本情绪分析已经成长为自然语言处理中最活跃的研究领域之一。最近几年,在该方向又细分出了很多个方向,比如:文本方面情感分析、基于某种语言的情感分析、基于某个平台的情感分析、基于目标的情感分析、方面情感三元组提取等,情感分析在各个领域都有应用,比如生活服务、金融分析、社会管理、国家安全等。而本文研究的方面情感三元组提取的任务,其目的是从文本中识别出方面项、观点项和情感极性,并将它们组成一个三元组。这种任务对于理解用户的观点和需求非常有用,它可以更细粒度地分析文本中的情感信息;同时,这种任务也非常具有挑战性,需要同时处理多个子问题,如方面项、观点项和情感极性的识别、抽取和关联。本文主要针对的是方面情感分析中网格标签方案模型在多个子任务中错误传播的问题。为了提高模型识别的准确率和泛化性,本文做了以下研究工作:(1)针对网格标签方案标注合理性分析,本文提出一种更加优化的压缩标注策略,同时采用旋转位置编码,加强词对位置相关性。原网格标签标注方案在设计上存在维度冗余,用6个维度表示六种状态,但是由于分布位置的区别,在不同的分布区域可以采用相同的维度标识,于是就能压缩维度,但不同的位置的区分在原模型中没有学习到,所以本文采用旋转位置编码来学习词对位置的信息,该方法在压缩维度的情况下保证模型效果有略微提升。(2)针对模型的泛化能力差的问题,提出了一种互学习网格标签算法,同时提出了两种数据扩充方案。此方法的原理是通过将两个不同参数的网格标签模型关联起来,用相同的输入样本训练,在训练的过程中让两个模型互相学习,使用KL散度作为一部分loss训练,实验表明模型具有很好的效果,最后通过提出的两种数据扩充方案,来再一步验证了互学习方案的学习能力和泛化能力,同时该方法在数据量少、标签质量差的情况下也明显有效。(3)针对网格标签方案对细节的忽视,本文提出了一种token-word网格标签算法。首先,每个句子是由多个word构成,但是在经过BERT的tokenizer后,token与word并非一一对应,很多word会被拆分成多个token,在原网格标签方案中采用的是word级训练与预测,而本文使用的方法是先使用token级标注网络训练,再采用word级预测,该方法在逻辑上更合理,实验结果表现出更优的性能,证明该方法有效。
基于网格标签的文本方面情感分析研究与应用
这是一篇关于方面情感分析,网格标签,维度压缩,旋转位置编码,互学习,数据扩充,token-word网格的论文, 主要内容为情感分析是围绕人们对诸如产品、服务、组织等实体的态度、观点、情绪的分析。文本情感分析即是情感分析以文本作为统一载体,目前文本情绪分析已经成长为自然语言处理中最活跃的研究领域之一。最近几年,在该方向又细分出了很多个方向,比如:文本方面情感分析、基于某种语言的情感分析、基于某个平台的情感分析、基于目标的情感分析、方面情感三元组提取等,情感分析在各个领域都有应用,比如生活服务、金融分析、社会管理、国家安全等。而本文研究的方面情感三元组提取的任务,其目的是从文本中识别出方面项、观点项和情感极性,并将它们组成一个三元组。这种任务对于理解用户的观点和需求非常有用,它可以更细粒度地分析文本中的情感信息;同时,这种任务也非常具有挑战性,需要同时处理多个子问题,如方面项、观点项和情感极性的识别、抽取和关联。本文主要针对的是方面情感分析中网格标签方案模型在多个子任务中错误传播的问题。为了提高模型识别的准确率和泛化性,本文做了以下研究工作:(1)针对网格标签方案标注合理性分析,本文提出一种更加优化的压缩标注策略,同时采用旋转位置编码,加强词对位置相关性。原网格标签标注方案在设计上存在维度冗余,用6个维度表示六种状态,但是由于分布位置的区别,在不同的分布区域可以采用相同的维度标识,于是就能压缩维度,但不同的位置的区分在原模型中没有学习到,所以本文采用旋转位置编码来学习词对位置的信息,该方法在压缩维度的情况下保证模型效果有略微提升。(2)针对模型的泛化能力差的问题,提出了一种互学习网格标签算法,同时提出了两种数据扩充方案。此方法的原理是通过将两个不同参数的网格标签模型关联起来,用相同的输入样本训练,在训练的过程中让两个模型互相学习,使用KL散度作为一部分loss训练,实验表明模型具有很好的效果,最后通过提出的两种数据扩充方案,来再一步验证了互学习方案的学习能力和泛化能力,同时该方法在数据量少、标签质量差的情况下也明显有效。(3)针对网格标签方案对细节的忽视,本文提出了一种token-word网格标签算法。首先,每个句子是由多个word构成,但是在经过BERT的tokenizer后,token与word并非一一对应,很多word会被拆分成多个token,在原网格标签方案中采用的是word级训练与预测,而本文使用的方法是先使用token级标注网络训练,再采用word级预测,该方法在逻辑上更合理,实验结果表现出更优的性能,证明该方法有效。
基于多任务学习的可解释推荐系统研究
这是一篇关于可解释推荐,多任务学习,推荐理由生成,评分预测,方面情感分析的论文, 主要内容为互联网时代各行各业迅速发展,线上化进程日新月异,数量巨大的网民群体无时无刻不在产生大量纷杂的数据,为了使用户能够获得自己感兴趣的内容,推荐系统应运而生并被广泛应用在各个领域的互联网平台系统。随着可解释人工智能的发展,可解释推荐系统逐渐成为了新的研究热点,一个可解释性强的推荐系统在给用户推荐物品的同时还要提供推荐理由,推荐理由有助于用户更好地理解推荐结果,给用户决策提供了重要参考意见。本文研究的是挖掘评论文本中用户、物品信息进行可解释推荐,但是现有的这类可解释推荐系统对于用户、物品评论的差异性考虑不足,为用户、物品画像不够精准,导致评分预测结果不够准确,生成的推荐理由个性化不足、内容不够丰富。为了解决以上问题,本文的主要研究内容如下:(1)在推荐理由生成问题中,为了能够生成个性化强、内容丰富的高质量文本,本文基于Transformer模型提出一种融合方面情感与外部知识的物品推荐理由生成模型,该模型两次使用双向注意力流网络将物品标题、用户偏好的物品方面情感与外部知识融合,从而生成高质量文本。在用户偏好的物品方面情感获取工作中,本文还提出一种融合领域知识二次训练BERT的方法做评论文本的方面级情感分析。在真实公共数据集上的实验结果表明,融合领域知识二次训练后的BERT-DK模型做方面级情感分析是有效的,本文提出的推荐理由生成模型可以为用户生成个性化的、内容丰富的高质量文本。(2)由于用户、物品评论文本存在差异性问题,本文提出了一种改进的非对称注意力层次模型分析评论文本对用户、物品进行精准表示。在将用户、物品精准表示作为共享模块的基础上,本文考虑评分预测任务与推荐理由生成任务之间互有关联,提出了一个多任务学习的可解释推荐模型,该模型联合训练两个子任务,评分预测任务使用Trans FM模型完成,推荐理由生成任务使用本文提出的推荐理由生成模型完成。在多个真实的公共数据集上实验结果表明,本文提出的多任务学习可解释推荐模型评分预测结果准确性高于其他同类推荐模型,可解释性也强于其他同类推荐模型。本文共有图21幅,表15个,参考文献84篇。
基于网格标签的文本方面情感分析研究与应用
这是一篇关于方面情感分析,网格标签,维度压缩,旋转位置编码,互学习,数据扩充,token-word网格的论文, 主要内容为情感分析是围绕人们对诸如产品、服务、组织等实体的态度、观点、情绪的分析。文本情感分析即是情感分析以文本作为统一载体,目前文本情绪分析已经成长为自然语言处理中最活跃的研究领域之一。最近几年,在该方向又细分出了很多个方向,比如:文本方面情感分析、基于某种语言的情感分析、基于某个平台的情感分析、基于目标的情感分析、方面情感三元组提取等,情感分析在各个领域都有应用,比如生活服务、金融分析、社会管理、国家安全等。而本文研究的方面情感三元组提取的任务,其目的是从文本中识别出方面项、观点项和情感极性,并将它们组成一个三元组。这种任务对于理解用户的观点和需求非常有用,它可以更细粒度地分析文本中的情感信息;同时,这种任务也非常具有挑战性,需要同时处理多个子问题,如方面项、观点项和情感极性的识别、抽取和关联。本文主要针对的是方面情感分析中网格标签方案模型在多个子任务中错误传播的问题。为了提高模型识别的准确率和泛化性,本文做了以下研究工作:(1)针对网格标签方案标注合理性分析,本文提出一种更加优化的压缩标注策略,同时采用旋转位置编码,加强词对位置相关性。原网格标签标注方案在设计上存在维度冗余,用6个维度表示六种状态,但是由于分布位置的区别,在不同的分布区域可以采用相同的维度标识,于是就能压缩维度,但不同的位置的区分在原模型中没有学习到,所以本文采用旋转位置编码来学习词对位置的信息,该方法在压缩维度的情况下保证模型效果有略微提升。(2)针对模型的泛化能力差的问题,提出了一种互学习网格标签算法,同时提出了两种数据扩充方案。此方法的原理是通过将两个不同参数的网格标签模型关联起来,用相同的输入样本训练,在训练的过程中让两个模型互相学习,使用KL散度作为一部分loss训练,实验表明模型具有很好的效果,最后通过提出的两种数据扩充方案,来再一步验证了互学习方案的学习能力和泛化能力,同时该方法在数据量少、标签质量差的情况下也明显有效。(3)针对网格标签方案对细节的忽视,本文提出了一种token-word网格标签算法。首先,每个句子是由多个word构成,但是在经过BERT的tokenizer后,token与word并非一一对应,很多word会被拆分成多个token,在原网格标签方案中采用的是word级训练与预测,而本文使用的方法是先使用token级标注网络训练,再采用word级预测,该方法在逻辑上更合理,实验结果表现出更优的性能,证明该方法有效。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设小屋 ,原文地址:https://m.bishedaima.com/lunwen/56059.html