融合知识图谱的多模态虚假新闻检测研究

这是一篇关于虚假新闻检测,知识图谱,多模态信息,深度学习的论文, 主要内容为随着互联网的广泛普及,人们从网络社交媒体上获取新闻比其他传统媒体更便利。然而,在缺乏有效监督和监管情况下,开放的互联网助长了大量虚假新闻的传播。社交媒体中虚假新闻以极低的成本在互联网中快速扩散,将会给社会和人们的日常生活带来显著的负面影响。因此,设计针对虚假新闻的自动检测模型具有重要现实意义。传统单模态虚假新闻检测模型一方面仅仅聚焦于挖掘新闻文本自身的统计学和语言学特征,通过挖掘出来的特征进行机器学习或者深度学习建模对虚假新闻进行检测,另一方面这些模型主要采用图像统计学和图像分布式表示特征,没有深层次挖掘图像背后所表达的文字语义和知识等含义。针对现有方法存在的不足之处,本文开展了如下工作:(1)提出了一个融合知识图谱的虚假新闻检测模型,该模型通过引入外部知识库对虚假新闻检测任务提供支撑,对抽取出新闻文本的三元组生成向量表示,并采用cosine计算三元组间的相似度,最后利用该相似度信息进行虚假新闻检测。(2)提出了一个融合知识图谱和图像描述的深度学习框架下多模态虚假新闻检测模型,该模型不仅抽取出新闻文本中的三元组形式知识图谱,同时也融合了图像生成的描述文本,同时采用BERT框架将原文本、三元组、图像描述文本加以集成。在基准汉语虚假新闻语料库上的实验结果表明了该模型显著优于现有代表性方法。

基于情感分析和注意力机制的虚假新闻检测算法研究与应用

这是一篇关于虚假新闻检测,情感分析,SentiLARE,注意力机制,多特征提取的论文, 主要内容为虚假新闻的泛滥会给社会造成巨大的影响,虚假新闻检测是遏制虚假新闻传播最有效的手段。针对现有虚假新闻检测算法缺少情感信息以及特征种类少等问题,本文在文本特征中引入情感语言信息和情感流信息,融合了发布者特征和传播图中用户特征,研究提出了两种虚假新闻检测算法,通过实验验证了算法的可行有效性,结合实际应用场景设计开发了一个虚假新闻检测系统。主要研究工作和成果包括:1.提出了一种基于情感分析的虚假新闻检测算法。针对现有的基于内容的虚假新闻检测算法未在文本词向量中考虑情感信息,使用基于Senti LARE模型的包含情感语言知识的新闻文本词向量,提取新闻文本内容特征并且与文本内容的情感流特征融合丰富文本内容特征。在Covid-19虚假新闻数据集和Fake News Net数据集上实验证明,该算法能够有效捕获新闻文本内容情感信息,在虚假新闻检测的分类效果更佳。2.提出了一种基于注意力机制与多特征的虚假新闻检测算法。在虚假新闻检测中引入了发布者可信度预测任务和用户可信度预测任务捕捉发布者特征和传播图中用户特征,构建发布者发布图以及传播图并使用结构注意力机制提取特征。同时为了进一步提高新闻文本内容特征,使用基于情感分析的虚假新闻检测算法获取包含情感信息的文本特征,将三种特征通过融合形成最终的新闻特征,丰富了新闻的特征种类,提高了虚假新闻检测的效率。在Twitter 15和Twitter 16数据集上实验证明,该算法能够有效提高虚假新闻检测效率并且在早期检测中表现优秀。3.使用Vue和Django技术设计并实现了虚假新闻检测系统,包含提交待检测新闻、查看检测任务和查看并导出检测结果等功能。系统采用计算引擎将本文所实现的算法和对比算法加入引擎库,使用户根据不同需求选择一种或多种算法进行检测,并生成虚假新闻检测报告以及检测结果文件。测试表明,该系统在虚假新闻检测效率、准确率与性能方面具有一定优势。

基于情感分析和注意力机制的虚假新闻检测算法研究与应用

这是一篇关于虚假新闻检测,情感分析,SentiLARE,注意力机制,多特征提取的论文, 主要内容为虚假新闻的泛滥会给社会造成巨大的影响,虚假新闻检测是遏制虚假新闻传播最有效的手段。针对现有虚假新闻检测算法缺少情感信息以及特征种类少等问题,本文在文本特征中引入情感语言信息和情感流信息,融合了发布者特征和传播图中用户特征,研究提出了两种虚假新闻检测算法,通过实验验证了算法的可行有效性,结合实际应用场景设计开发了一个虚假新闻检测系统。主要研究工作和成果包括:1.提出了一种基于情感分析的虚假新闻检测算法。针对现有的基于内容的虚假新闻检测算法未在文本词向量中考虑情感信息,使用基于Senti LARE模型的包含情感语言知识的新闻文本词向量,提取新闻文本内容特征并且与文本内容的情感流特征融合丰富文本内容特征。在Covid-19虚假新闻数据集和Fake News Net数据集上实验证明,该算法能够有效捕获新闻文本内容情感信息,在虚假新闻检测的分类效果更佳。2.提出了一种基于注意力机制与多特征的虚假新闻检测算法。在虚假新闻检测中引入了发布者可信度预测任务和用户可信度预测任务捕捉发布者特征和传播图中用户特征,构建发布者发布图以及传播图并使用结构注意力机制提取特征。同时为了进一步提高新闻文本内容特征,使用基于情感分析的虚假新闻检测算法获取包含情感信息的文本特征,将三种特征通过融合形成最终的新闻特征,丰富了新闻的特征种类,提高了虚假新闻检测的效率。在Twitter 15和Twitter 16数据集上实验证明,该算法能够有效提高虚假新闻检测效率并且在早期检测中表现优秀。3.使用Vue和Django技术设计并实现了虚假新闻检测系统,包含提交待检测新闻、查看检测任务和查看并导出检测结果等功能。系统采用计算引擎将本文所实现的算法和对比算法加入引擎库,使用户根据不同需求选择一种或多种算法进行检测,并生成虚假新闻检测报告以及检测结果文件。测试表明,该系统在虚假新闻检测效率、准确率与性能方面具有一定优势。

基于提示学习与关联特征增强的虚假新闻检测方法

这是一篇关于虚假新闻检测,提示学习,特征提取,多模态,少样本的论文, 主要内容为随着互联网的高速发展,虚假新闻的数量和传播范围不断扩大,给人们获取真实信息带来了极大的困难。虚假新闻检测任务能够高效地帮助人们过滤掉虚假信息,提高信息的准确性和可信度。然而,在实际应用中,这个任务面临着标注成本高、样本少、训练结果差以及模型泛化能力弱等挑战。此外,随着新闻传播的多样化,新闻信息由单一的文本向图文多模态构成的传播形式转变。因此,为了全面捕捉新闻信息特征,多模态虚假新闻检测变得越来越重要。然而,由于不同模态数据之间存在巨大的差异性,导致特征之间的关联性不足,从而增加了虚假新闻检测的难度。为了解决上述挑战,本文提出的基于提示学习和关联特征增强的虚假新闻检测算法,分别针对单模态和多模态数据进行研究,能够有效提高虚假新闻检测的准确性和泛化能力。本文在相关数据集上进行了实验,实验结果验证了本文方法的有效性和可行性。本文主要贡献:(1)提出基于知识增强提示学习的虚假新闻检测算法。针对实际场景中样本数据不足的问题,本研究提出了一种基于知识增强提示学习的虚假新闻检测算法。该算法利用T5模型自动生成的提示模板,将虚假新闻检测任务转换为基于提示学习的虚假新闻检测,并引入外部实体知识特征以增强检测能力。通过精心设计的提示信息,有效地激发了模型的潜在知识,提升了少样本场景下的虚假新闻检测效果,并提高了模型的泛化能力。此外,本文在Politi Fact数据集和Gossip Cop数据集上进行实验,结果表明该算法在这两个数据集上均取得了良好的效果,证明了算法的有效性和可行性。(2)提出基于关联特征增强的多模态虚假新闻检测算法。针对不同模态数据之间存在差异性而导致特征关联性不足的问题,本研究提出了一种基于关联特征增强的多模态虚假新闻检测方法。该算法利用注意力机制增强模态间特征的关联性,有效地提高了多模态数据的融合效果。算法分为四个模块:文本特征提取、图像特征提取、注意力机制和分类器。首先,通过BERT模型提取丰富的语义文本特征,接着Text-CNN模型进一步过滤噪声信息并加强特征表示。然后,采用引入注意力机制的Res Net-51模型从图像中捕捉与文本特征关联性最大的图像特征进行加权。最后,将文本和图像特征组合成高信息量的多模态表示作为虚假新闻检测分类器的输入。本文通过在Weibo和Twitter数据集上进行了实验,良好的实验结果验证了本研究方法的有效性。

基于对比学习的多模态虚假新闻检测研究

这是一篇关于人工智能,虚假新闻检测,多模态学习,对比学习,集成学习的论文, 主要内容为虚假新闻自动检测技术在监管部门审查、平台违规内容清理、广电媒体内容自查和重大舆情预警等方面有着广泛的应用前景,具有重要的研究意义和社会价值。虚假新闻检测(Fake News Detection,FND)旨在通过自动化技术和机器学习算法,对新闻的内容和社交网络传播特征进行分析,以判断其是否为虚假新闻。虚假新闻检测通常被表述为一个二分类问题,即将一篇网络新闻分为真实新闻或虚假新闻两类。传统的虚假新闻检测研究主要针对文本形式的虚假新闻。然而,随着移动互联网和社交媒体对多媒体内容的支持,网络虚假新闻的形态也发生了变化。带有图片和视频的虚假新闻相比于简单的文字更具吸引力和可信度,正借助社交网络加速传播。同时,新闻的多模态内容相比于单一模态提供了更加全面和丰富的信息,不同模态间的特征互补性和语义关联性也提供了新的检测线索。因此,多模态虚假新闻检测(Multimodal Fake News Detection,multimodal FND)逐渐成为目前的研究热点。多模态虚假新闻检测属于基于内容的虚假新闻检测方法,主要针对社交媒体中最常见的图文虚假新闻。现有多模态虚假新闻检测研究主要存在两方面的问题:(1)对于新闻多模态特征的信息提取能力不足,特别是视觉特征提取能力不足,导致视觉模态信息不能被充分应用于最终的新闻检测决策环节。(2)较少关注新闻的文本和图像之间的关系(图文语义一致性),检测模型的可解释性和泛化性能较差。这些问题限制了多模态虚假新闻检测系统的性能,妨碍了检测算法的实际应用。针对上述问题,本论文开展了以下工作:(1)针对现有检测方法提取新闻的多模态特征能力不足的问题,本文首先分析了现有方法的特征提取骨架网络,对其中的视觉特征提取步骤进行改进,提出了一个基于视觉Transformer的多模态虚假新闻检测框架(Multi-modal Fake News Detection Framework based on Vision Transformer,MDVT)。MDVT 框架主要利用视觉 Transformer相比于CNN网络能更好地学习图像内部联系的特点,增强模型的多模态特征提取能力。同时,本文结合预训练语言模型的最新技术进展,在MDVT框架中使用BERT的变体模型优化文本特征提取。通过在MDVT框架上对不同的多模态向量融合方式和特征提取器的组合方案进行实验,择优选出一个使用MacBERT和Swin Transformer作为特征编码器的检测模型MDVT-MS。经过公开数据库上的实验验证,MDVT-MS模型相比于近年先进的基线模型CMC提高了准确率3.7%,达到了有竞争力的多模态虚假新闻检测性能。(2)关于新闻的图文语义一致性计算问题,现有的基于新闻图文关系的检测方法在视觉侧和文本侧通常使用异构的特征编码器,且仅在下游任务数据集中学习图文关系,使得模型难以克服模态之间的“语义鸿沟”,导致在计算新闻的图文相似度时准确度较差。为此,本文首次在虚假新闻检测任务中引入中文视觉-语言预训练模型作为新闻的图文语义特征编码器,提出了一个基于对比学习的多模态新闻图文一致性度量模型(CLIP for Multimodal Fake News Detection,CLIP-MFD)。首先通过多模态预训练模型获取图文关联的常识,然后设计了跨模态对比学习训练策略,拉近真实新闻的图文特征之间的距离,推远虚假新闻的图文特征的距离,实现向量空间内图像与自然语言的联系。实验表明单独使用CLIP-MFD进行检测的准确率可达70%,证明图文一致性可以作为多模态虚假新闻检测的有效特征。本文进一步通过集成学习算法,将MDVT-MS模型和CLIP-MFD模型联合用于虚假新闻检测。集成算法的检测准确率超过CMC模型4.0%,优于多数近年方法,在保证高准确性的同时兼具可解释性。(3)本论文以MDVT框架和CLIP-MFD模型为核心,使用Vue、Spring Boot、Flask等前后端编程技术框架,设计并实现了一套在线多模态虚假新闻检测系统,验证本论文提出算法的实用性。

基于交互图分层池化的虚假新闻检测研究

这是一篇关于虚假新闻检测,评论,传播,图神经网络,分层池化的论文, 主要内容为信息技术快速发展,社交媒体逐渐取代了传统媒体,信息在社交媒体上快速传播的同时,也给虚假新闻传播带来了可乘之机,虚假新闻对于个人和整个社会都有潜在的危害。新闻传播过程中的用户交互形成了一个复杂的异构图,其中评论和传播是两个重要组成部分,并且都包含了可用于评估新闻真实性的特征。现有的虚假新闻检测模型存在较多缺陷,在评论特征提取上,传统词向量与循环神经网络结合的文本表示方式,语义表达能力弱,评论回复结构保留和冗余评论去除等方面考虑不全面,在传播网络方面,也没有充分利用网络中存在的群体信息。考虑到现有模型的不足,基于评论交互和传播交互,提出了交互图分层池化的虚假新闻检测模型CPGP(Comment-Propagation Graph Pooling)。利用用户交互构建得到评论图和传播图,其中评论图以评论为主,并结合新闻句子以及与评论相关的推文作为结点,属性为对应的文本,边代表回复关系或内容相似关系,并使用预训练Bert提取文本语义;传播图以新闻作者、原推用户、转发用户作为图中结点,并根据朋友圈关系对传播结构进行重建,并以用户资料作为结点属性。CPGP模型使用图神经网络学习图结点潜在特征,对于评论图,使用基于结点选择的方式对评论图进行分层池化,以保留关键内容结点;对于传播图,使用基于结点聚类的方式对传播图进行分层池化,以捕捉传播群体特征。模型CPGP依据池化前的图特征学习具体方式,分为使用图卷积神经网络的CPGP-GCN模型,以及使用图注意力网络的CPGP-GAT模型。在Fake News Net数据集上,提出的模型与多个基线模型进行了实验对比。实验结果表明,CPGP-GCN、CPGP-GAT模型的综合性能均优于其它模型,且CPGP-GCN模型整体性能要优于CPGP-GAT。在Fake News Net的Gossip Cop子数据集上,性能较优的CPGP-GCN准确率和F1分数,比基线模型相应最优的指标分别提升了4.02%和3.66%,在Politi Fact子数据集上则分别提升了3.87%和3.23%。消融实验结果也验证了用户评论和传播信息对于新闻真实性评估的重要性,且二者具有互补作用。

基于对比学习的多模态虚假新闻检测研究

这是一篇关于人工智能,虚假新闻检测,多模态学习,对比学习,集成学习的论文, 主要内容为虚假新闻自动检测技术在监管部门审查、平台违规内容清理、广电媒体内容自查和重大舆情预警等方面有着广泛的应用前景,具有重要的研究意义和社会价值。虚假新闻检测(Fake News Detection,FND)旨在通过自动化技术和机器学习算法,对新闻的内容和社交网络传播特征进行分析,以判断其是否为虚假新闻。虚假新闻检测通常被表述为一个二分类问题,即将一篇网络新闻分为真实新闻或虚假新闻两类。传统的虚假新闻检测研究主要针对文本形式的虚假新闻。然而,随着移动互联网和社交媒体对多媒体内容的支持,网络虚假新闻的形态也发生了变化。带有图片和视频的虚假新闻相比于简单的文字更具吸引力和可信度,正借助社交网络加速传播。同时,新闻的多模态内容相比于单一模态提供了更加全面和丰富的信息,不同模态间的特征互补性和语义关联性也提供了新的检测线索。因此,多模态虚假新闻检测(Multimodal Fake News Detection,multimodal FND)逐渐成为目前的研究热点。多模态虚假新闻检测属于基于内容的虚假新闻检测方法,主要针对社交媒体中最常见的图文虚假新闻。现有多模态虚假新闻检测研究主要存在两方面的问题:(1)对于新闻多模态特征的信息提取能力不足,特别是视觉特征提取能力不足,导致视觉模态信息不能被充分应用于最终的新闻检测决策环节。(2)较少关注新闻的文本和图像之间的关系(图文语义一致性),检测模型的可解释性和泛化性能较差。这些问题限制了多模态虚假新闻检测系统的性能,妨碍了检测算法的实际应用。针对上述问题,本论文开展了以下工作:(1)针对现有检测方法提取新闻的多模态特征能力不足的问题,本文首先分析了现有方法的特征提取骨架网络,对其中的视觉特征提取步骤进行改进,提出了一个基于视觉Transformer的多模态虚假新闻检测框架(Multi-modal Fake News Detection Framework based on Vision Transformer,MDVT)。MDVT 框架主要利用视觉 Transformer相比于CNN网络能更好地学习图像内部联系的特点,增强模型的多模态特征提取能力。同时,本文结合预训练语言模型的最新技术进展,在MDVT框架中使用BERT的变体模型优化文本特征提取。通过在MDVT框架上对不同的多模态向量融合方式和特征提取器的组合方案进行实验,择优选出一个使用MacBERT和Swin Transformer作为特征编码器的检测模型MDVT-MS。经过公开数据库上的实验验证,MDVT-MS模型相比于近年先进的基线模型CMC提高了准确率3.7%,达到了有竞争力的多模态虚假新闻检测性能。(2)关于新闻的图文语义一致性计算问题,现有的基于新闻图文关系的检测方法在视觉侧和文本侧通常使用异构的特征编码器,且仅在下游任务数据集中学习图文关系,使得模型难以克服模态之间的“语义鸿沟”,导致在计算新闻的图文相似度时准确度较差。为此,本文首次在虚假新闻检测任务中引入中文视觉-语言预训练模型作为新闻的图文语义特征编码器,提出了一个基于对比学习的多模态新闻图文一致性度量模型(CLIP for Multimodal Fake News Detection,CLIP-MFD)。首先通过多模态预训练模型获取图文关联的常识,然后设计了跨模态对比学习训练策略,拉近真实新闻的图文特征之间的距离,推远虚假新闻的图文特征的距离,实现向量空间内图像与自然语言的联系。实验表明单独使用CLIP-MFD进行检测的准确率可达70%,证明图文一致性可以作为多模态虚假新闻检测的有效特征。本文进一步通过集成学习算法,将MDVT-MS模型和CLIP-MFD模型联合用于虚假新闻检测。集成算法的检测准确率超过CMC模型4.0%,优于多数近年方法,在保证高准确性的同时兼具可解释性。(3)本论文以MDVT框架和CLIP-MFD模型为核心,使用Vue、Spring Boot、Flask等前后端编程技术框架,设计并实现了一套在线多模态虚假新闻检测系统,验证本论文提出算法的实用性。

基于交互图分层池化的虚假新闻检测研究

这是一篇关于虚假新闻检测,评论,传播,图神经网络,分层池化的论文, 主要内容为信息技术快速发展,社交媒体逐渐取代了传统媒体,信息在社交媒体上快速传播的同时,也给虚假新闻传播带来了可乘之机,虚假新闻对于个人和整个社会都有潜在的危害。新闻传播过程中的用户交互形成了一个复杂的异构图,其中评论和传播是两个重要组成部分,并且都包含了可用于评估新闻真实性的特征。现有的虚假新闻检测模型存在较多缺陷,在评论特征提取上,传统词向量与循环神经网络结合的文本表示方式,语义表达能力弱,评论回复结构保留和冗余评论去除等方面考虑不全面,在传播网络方面,也没有充分利用网络中存在的群体信息。考虑到现有模型的不足,基于评论交互和传播交互,提出了交互图分层池化的虚假新闻检测模型CPGP(Comment-Propagation Graph Pooling)。利用用户交互构建得到评论图和传播图,其中评论图以评论为主,并结合新闻句子以及与评论相关的推文作为结点,属性为对应的文本,边代表回复关系或内容相似关系,并使用预训练Bert提取文本语义;传播图以新闻作者、原推用户、转发用户作为图中结点,并根据朋友圈关系对传播结构进行重建,并以用户资料作为结点属性。CPGP模型使用图神经网络学习图结点潜在特征,对于评论图,使用基于结点选择的方式对评论图进行分层池化,以保留关键内容结点;对于传播图,使用基于结点聚类的方式对传播图进行分层池化,以捕捉传播群体特征。模型CPGP依据池化前的图特征学习具体方式,分为使用图卷积神经网络的CPGP-GCN模型,以及使用图注意力网络的CPGP-GAT模型。在Fake News Net数据集上,提出的模型与多个基线模型进行了实验对比。实验结果表明,CPGP-GCN、CPGP-GAT模型的综合性能均优于其它模型,且CPGP-GCN模型整体性能要优于CPGP-GAT。在Fake News Net的Gossip Cop子数据集上,性能较优的CPGP-GCN准确率和F1分数,比基线模型相应最优的指标分别提升了4.02%和3.66%,在Politi Fact子数据集上则分别提升了3.87%和3.23%。消融实验结果也验证了用户评论和传播信息对于新闻真实性评估的重要性,且二者具有互补作用。