基于对比学习的多模态虚假新闻检测研究

这是一篇关于人工智能,虚假新闻检测,多模态学习,对比学习,集成学习的论文, 主要内容为虚假新闻自动检测技术在监管部门审查、平台违规内容清理、广电媒体内容自查和重大舆情预警等方面有着广泛的应用前景,具有重要的研究意义和社会价值。虚假新闻检测(Fake News Detection,FND)旨在通过自动化技术和机器学习算法,对新闻的内容和社交网络传播特征进行分析,以判断其是否为虚假新闻。虚假新闻检测通常被表述为一个二分类问题,即将一篇网络新闻分为真实新闻或虚假新闻两类。传统的虚假新闻检测研究主要针对文本形式的虚假新闻。然而,随着移动互联网和社交媒体对多媒体内容的支持,网络虚假新闻的形态也发生了变化。带有图片和视频的虚假新闻相比于简单的文字更具吸引力和可信度,正借助社交网络加速传播。同时,新闻的多模态内容相比于单一模态提供了更加全面和丰富的信息,不同模态间的特征互补性和语义关联性也提供了新的检测线索。因此,多模态虚假新闻检测(Multimodal Fake News Detection,multimodal FND)逐渐成为目前的研究热点。多模态虚假新闻检测属于基于内容的虚假新闻检测方法,主要针对社交媒体中最常见的图文虚假新闻。现有多模态虚假新闻检测研究主要存在两方面的问题:(1)对于新闻多模态特征的信息提取能力不足,特别是视觉特征提取能力不足,导致视觉模态信息不能被充分应用于最终的新闻检测决策环节。(2)较少关注新闻的文本和图像之间的关系(图文语义一致性),检测模型的可解释性和泛化性能较差。这些问题限制了多模态虚假新闻检测系统的性能,妨碍了检测算法的实际应用。针对上述问题,本论文开展了以下工作:(1)针对现有检测方法提取新闻的多模态特征能力不足的问题,本文首先分析了现有方法的特征提取骨架网络,对其中的视觉特征提取步骤进行改进,提出了一个基于视觉Transformer的多模态虚假新闻检测框架(Multi-modal Fake News Detection Framework based on Vision Transformer,MDVT)。MDVT 框架主要利用视觉 Transformer相比于CNN网络能更好地学习图像内部联系的特点,增强模型的多模态特征提取能力。同时,本文结合预训练语言模型的最新技术进展,在MDVT框架中使用BERT的变体模型优化文本特征提取。通过在MDVT框架上对不同的多模态向量融合方式和特征提取器的组合方案进行实验,择优选出一个使用MacBERT和Swin Transformer作为特征编码器的检测模型MDVT-MS。经过公开数据库上的实验验证,MDVT-MS模型相比于近年先进的基线模型CMC提高了准确率3.7%,达到了有竞争力的多模态虚假新闻检测性能。(2)关于新闻的图文语义一致性计算问题,现有的基于新闻图文关系的检测方法在视觉侧和文本侧通常使用异构的特征编码器,且仅在下游任务数据集中学习图文关系,使得模型难以克服模态之间的“语义鸿沟”,导致在计算新闻的图文相似度时准确度较差。为此,本文首次在虚假新闻检测任务中引入中文视觉-语言预训练模型作为新闻的图文语义特征编码器,提出了一个基于对比学习的多模态新闻图文一致性度量模型(CLIP for Multimodal Fake News Detection,CLIP-MFD)。首先通过多模态预训练模型获取图文关联的常识,然后设计了跨模态对比学习训练策略,拉近真实新闻的图文特征之间的距离,推远虚假新闻的图文特征的距离,实现向量空间内图像与自然语言的联系。实验表明单独使用CLIP-MFD进行检测的准确率可达70%,证明图文一致性可以作为多模态虚假新闻检测的有效特征。本文进一步通过集成学习算法,将MDVT-MS模型和CLIP-MFD模型联合用于虚假新闻检测。集成算法的检测准确率超过CMC模型4.0%,优于多数近年方法,在保证高准确性的同时兼具可解释性。(3)本论文以MDVT框架和CLIP-MFD模型为核心,使用Vue、Spring Boot、Flask等前后端编程技术框架,设计并实现了一套在线多模态虚假新闻检测系统,验证本论文提出算法的实用性。

基于提示学习与关联特征增强的虚假新闻检测方法

这是一篇关于虚假新闻检测,提示学习,特征提取,多模态,少样本的论文, 主要内容为随着互联网的高速发展,虚假新闻的数量和传播范围不断扩大,给人们获取真实信息带来了极大的困难。虚假新闻检测任务能够高效地帮助人们过滤掉虚假信息,提高信息的准确性和可信度。然而,在实际应用中,这个任务面临着标注成本高、样本少、训练结果差以及模型泛化能力弱等挑战。此外,随着新闻传播的多样化,新闻信息由单一的文本向图文多模态构成的传播形式转变。因此,为了全面捕捉新闻信息特征,多模态虚假新闻检测变得越来越重要。然而,由于不同模态数据之间存在巨大的差异性,导致特征之间的关联性不足,从而增加了虚假新闻检测的难度。为了解决上述挑战,本文提出的基于提示学习和关联特征增强的虚假新闻检测算法,分别针对单模态和多模态数据进行研究,能够有效提高虚假新闻检测的准确性和泛化能力。本文在相关数据集上进行了实验,实验结果验证了本文方法的有效性和可行性。本文主要贡献:(1)提出基于知识增强提示学习的虚假新闻检测算法。针对实际场景中样本数据不足的问题,本研究提出了一种基于知识增强提示学习的虚假新闻检测算法。该算法利用T5模型自动生成的提示模板,将虚假新闻检测任务转换为基于提示学习的虚假新闻检测,并引入外部实体知识特征以增强检测能力。通过精心设计的提示信息,有效地激发了模型的潜在知识,提升了少样本场景下的虚假新闻检测效果,并提高了模型的泛化能力。此外,本文在Politi Fact数据集和Gossip Cop数据集上进行实验,结果表明该算法在这两个数据集上均取得了良好的效果,证明了算法的有效性和可行性。(2)提出基于关联特征增强的多模态虚假新闻检测算法。针对不同模态数据之间存在差异性而导致特征关联性不足的问题,本研究提出了一种基于关联特征增强的多模态虚假新闻检测方法。该算法利用注意力机制增强模态间特征的关联性,有效地提高了多模态数据的融合效果。算法分为四个模块:文本特征提取、图像特征提取、注意力机制和分类器。首先,通过BERT模型提取丰富的语义文本特征,接着Text-CNN模型进一步过滤噪声信息并加强特征表示。然后,采用引入注意力机制的Res Net-51模型从图像中捕捉与文本特征关联性最大的图像特征进行加权。最后,将文本和图像特征组合成高信息量的多模态表示作为虚假新闻检测分类器的输入。本文通过在Weibo和Twitter数据集上进行了实验,良好的实验结果验证了本研究方法的有效性。

基于多模态与领域自适应的虚假新闻检测方法研究

这是一篇关于虚假新闻检测,多模态学习,孪生网络,领域自适应的论文, 主要内容为社交媒体上的虚假新闻泛滥已经成为一个不可忽视的问题,它的危害性远超过人们的预料。随着网络技术的发展,虚假新闻的形式也在不断变化,如今的虚假新闻不再依靠纯文本内容进行传播,而是使用更具说服力的图像、视频、语音等多媒体内容来吸引和误导读者,这也为虚假新闻的检测带来新的机遇。本文对包含文本和图像的虚假新闻内容进行了研究。传统的虚假新闻检测方法将其视为自然语言处理问题,将更多的注意力放在文本特征上,忽视了其他模态数据的信息互补作用,并且大多数检测方法仅在特定新闻领域有效,训练得到的模型缺乏良好的泛化能力,无法将模型应用到现实环境中。为了应对上述问题,本文提出了三种虚假新闻检测方法,本文的主要贡献如下:1.提出了基于特征融合的多模态虚假新闻检测方法FND。具体而言,首先使用Bi LSTM和Res Net50对新闻数据的文本特征和图像特征进行提取,并使用软注意力机制对得到的特征进行加权,经过注意力层后,文本特征和图像特征合并为一个“文本-图像”多模态融合特征。最后,使用多层感知机对多模态特征进行二元分类,实现了基于特征融合的多模态虚假新闻检测方法。在真实数据集上的大量实验表明,基于特征融合的多模态虚假新闻检测方法优于传统的基于文本特征或图像特征的检测方法。2.提出了基于孪生网络的多模态虚假新闻检测方法FNM。具体而言,FNM借鉴了孪生网络的思想,利用虚假新闻中存在的图像和文本语义不一致的现象,在提取图像和文本两种模态的特征后,通过匹配子网络将特征从原始空间映射至新的目标空间,使目标空间中特征之间的简单距离与原始空间中特征之间的语义距离相近。通过最小化对比损失来优化匹配子网络,实现对图文语义匹配程度的度量,最后输出新闻的真实性预测值。实验结果表明,在不同数据集和评价指标上,FNM的性能比其他方法更好,证明了其在实际应用中的可行性和有效性。3.提出了基于领域自适应的虚假新闻检测方法FND+Filter和FNM+Filter。具体而言,本章提出的领域过滤器结构应用了生成对抗的思想,建立起多模态特征提取器和新闻领域分类器之间的极大极小博弈,通过引入梯度反转层,在保证新闻真假分类器损失降低的基础上,尽量增大新闻领域分类器损失,从而将多模态特征中的领域信息进行过滤,减弱了源域和目标域之间的特征差异,提高了模型的泛化能力,实现了虚假新闻检测模型的领域自适应。

基于提示学习与关联特征增强的虚假新闻检测方法

这是一篇关于虚假新闻检测,提示学习,特征提取,多模态,少样本的论文, 主要内容为随着互联网的高速发展,虚假新闻的数量和传播范围不断扩大,给人们获取真实信息带来了极大的困难。虚假新闻检测任务能够高效地帮助人们过滤掉虚假信息,提高信息的准确性和可信度。然而,在实际应用中,这个任务面临着标注成本高、样本少、训练结果差以及模型泛化能力弱等挑战。此外,随着新闻传播的多样化,新闻信息由单一的文本向图文多模态构成的传播形式转变。因此,为了全面捕捉新闻信息特征,多模态虚假新闻检测变得越来越重要。然而,由于不同模态数据之间存在巨大的差异性,导致特征之间的关联性不足,从而增加了虚假新闻检测的难度。为了解决上述挑战,本文提出的基于提示学习和关联特征增强的虚假新闻检测算法,分别针对单模态和多模态数据进行研究,能够有效提高虚假新闻检测的准确性和泛化能力。本文在相关数据集上进行了实验,实验结果验证了本文方法的有效性和可行性。本文主要贡献:(1)提出基于知识增强提示学习的虚假新闻检测算法。针对实际场景中样本数据不足的问题,本研究提出了一种基于知识增强提示学习的虚假新闻检测算法。该算法利用T5模型自动生成的提示模板,将虚假新闻检测任务转换为基于提示学习的虚假新闻检测,并引入外部实体知识特征以增强检测能力。通过精心设计的提示信息,有效地激发了模型的潜在知识,提升了少样本场景下的虚假新闻检测效果,并提高了模型的泛化能力。此外,本文在Politi Fact数据集和Gossip Cop数据集上进行实验,结果表明该算法在这两个数据集上均取得了良好的效果,证明了算法的有效性和可行性。(2)提出基于关联特征增强的多模态虚假新闻检测算法。针对不同模态数据之间存在差异性而导致特征关联性不足的问题,本研究提出了一种基于关联特征增强的多模态虚假新闻检测方法。该算法利用注意力机制增强模态间特征的关联性,有效地提高了多模态数据的融合效果。算法分为四个模块:文本特征提取、图像特征提取、注意力机制和分类器。首先,通过BERT模型提取丰富的语义文本特征,接着Text-CNN模型进一步过滤噪声信息并加强特征表示。然后,采用引入注意力机制的Res Net-51模型从图像中捕捉与文本特征关联性最大的图像特征进行加权。最后,将文本和图像特征组合成高信息量的多模态表示作为虚假新闻检测分类器的输入。本文通过在Weibo和Twitter数据集上进行了实验,良好的实验结果验证了本研究方法的有效性。

基于双向时延与图增强对比学习的社交媒体虚假新闻检测

这是一篇关于深度学习,虚假新闻检测,图神经网络的论文, 主要内容为随着移动互联网的高速发展和移动设备的迅速普及,人们获得信息的渠道越来越多,其中以微博、Twitter、Facebook等为首的各大社交媒体平台逐渐成为了现代社会的消息集散地,社交媒体对于人类社会中信息的传播做出了巨大贡献,但其也正逐渐成为一把“双刃剑”,由于社交媒体的匿名性和平台缺乏有效的审核管理,平台中充斥着数量巨大的虚假新闻和各类谣言,这些虚假新闻在社交媒体的特性下迅速传播和发酵,无疑对社会造成了巨大影响。因此,对于社交媒体中的虚假新闻防控亟待加强,而其中,虚假新闻的检测则是最首要的一个环节,本文主要针对社交媒体中虚假新闻的检测进行研究。本文聚焦于结合深度学习,提出了基于双向时延与图增强对比学习的社交媒体虚假新闻检测模型,探索如何提取新闻传播的时延特征、新闻传播的深度传播特征、广度散布特征对虚假新闻传播网络进行有效的特征提取,探索如何利用图增强对比学习的思想解决虚假新闻数据集不完善的问题,本文提出的基于双向时延与图增强对比学习的社交媒体虚假新闻检测模型主要内容如下:(1)针对目前传统研究方法仅考虑时序信息而忽略时延信息的研究现状,从构造时延信息特征为切入点,设计时延权重矩阵对图卷积网络的输入进行改进;同时针对目前传统图卷积模型不擅于处理有向图的现象,从图的深度传播和广度散布两个方向对图卷积模型进行改进;最后综合提出了双向时延图卷积网络,实验证明相比于传统图卷积网络,双向时延图卷积网络的性能表现有显著优势。(2)针对目前虚假新闻数据集不完善、缺少标签等问题,本文使用图增强思想对数据集进行数据增强,同时采用图对比学习,结合(1)中的双向时延图卷积网络,提出了本文基于双向时延与图增强对比学习的社交媒体虚假新闻检测模型,通过在两个公开的真实的数据集进行一系列对比实验、消融实验论证,本文提出的模型具有更优秀的性能和更强的鲁棒性,相较于其他社交媒体虚假新闻检测模型,本文模型在社交媒体虚假新闻检测的准确率上有明显提升,在早期虚假新闻检测和标签有限的情况下有更好的性能表现。

基于对比学习的多模态虚假新闻检测研究

这是一篇关于人工智能,虚假新闻检测,多模态学习,对比学习,集成学习的论文, 主要内容为虚假新闻自动检测技术在监管部门审查、平台违规内容清理、广电媒体内容自查和重大舆情预警等方面有着广泛的应用前景,具有重要的研究意义和社会价值。虚假新闻检测(Fake News Detection,FND)旨在通过自动化技术和机器学习算法,对新闻的内容和社交网络传播特征进行分析,以判断其是否为虚假新闻。虚假新闻检测通常被表述为一个二分类问题,即将一篇网络新闻分为真实新闻或虚假新闻两类。传统的虚假新闻检测研究主要针对文本形式的虚假新闻。然而,随着移动互联网和社交媒体对多媒体内容的支持,网络虚假新闻的形态也发生了变化。带有图片和视频的虚假新闻相比于简单的文字更具吸引力和可信度,正借助社交网络加速传播。同时,新闻的多模态内容相比于单一模态提供了更加全面和丰富的信息,不同模态间的特征互补性和语义关联性也提供了新的检测线索。因此,多模态虚假新闻检测(Multimodal Fake News Detection,multimodal FND)逐渐成为目前的研究热点。多模态虚假新闻检测属于基于内容的虚假新闻检测方法,主要针对社交媒体中最常见的图文虚假新闻。现有多模态虚假新闻检测研究主要存在两方面的问题:(1)对于新闻多模态特征的信息提取能力不足,特别是视觉特征提取能力不足,导致视觉模态信息不能被充分应用于最终的新闻检测决策环节。(2)较少关注新闻的文本和图像之间的关系(图文语义一致性),检测模型的可解释性和泛化性能较差。这些问题限制了多模态虚假新闻检测系统的性能,妨碍了检测算法的实际应用。针对上述问题,本论文开展了以下工作:(1)针对现有检测方法提取新闻的多模态特征能力不足的问题,本文首先分析了现有方法的特征提取骨架网络,对其中的视觉特征提取步骤进行改进,提出了一个基于视觉Transformer的多模态虚假新闻检测框架(Multi-modal Fake News Detection Framework based on Vision Transformer,MDVT)。MDVT 框架主要利用视觉 Transformer相比于CNN网络能更好地学习图像内部联系的特点,增强模型的多模态特征提取能力。同时,本文结合预训练语言模型的最新技术进展,在MDVT框架中使用BERT的变体模型优化文本特征提取。通过在MDVT框架上对不同的多模态向量融合方式和特征提取器的组合方案进行实验,择优选出一个使用MacBERT和Swin Transformer作为特征编码器的检测模型MDVT-MS。经过公开数据库上的实验验证,MDVT-MS模型相比于近年先进的基线模型CMC提高了准确率3.7%,达到了有竞争力的多模态虚假新闻检测性能。(2)关于新闻的图文语义一致性计算问题,现有的基于新闻图文关系的检测方法在视觉侧和文本侧通常使用异构的特征编码器,且仅在下游任务数据集中学习图文关系,使得模型难以克服模态之间的“语义鸿沟”,导致在计算新闻的图文相似度时准确度较差。为此,本文首次在虚假新闻检测任务中引入中文视觉-语言预训练模型作为新闻的图文语义特征编码器,提出了一个基于对比学习的多模态新闻图文一致性度量模型(CLIP for Multimodal Fake News Detection,CLIP-MFD)。首先通过多模态预训练模型获取图文关联的常识,然后设计了跨模态对比学习训练策略,拉近真实新闻的图文特征之间的距离,推远虚假新闻的图文特征的距离,实现向量空间内图像与自然语言的联系。实验表明单独使用CLIP-MFD进行检测的准确率可达70%,证明图文一致性可以作为多模态虚假新闻检测的有效特征。本文进一步通过集成学习算法,将MDVT-MS模型和CLIP-MFD模型联合用于虚假新闻检测。集成算法的检测准确率超过CMC模型4.0%,优于多数近年方法,在保证高准确性的同时兼具可解释性。(3)本论文以MDVT框架和CLIP-MFD模型为核心,使用Vue、Spring Boot、Flask等前后端编程技术框架,设计并实现了一套在线多模态虚假新闻检测系统,验证本论文提出算法的实用性。

融合知识图谱的多模态虚假新闻检测研究

这是一篇关于虚假新闻检测,知识图谱,多模态信息,深度学习的论文, 主要内容为随着互联网的广泛普及,人们从网络社交媒体上获取新闻比其他传统媒体更便利。然而,在缺乏有效监督和监管情况下,开放的互联网助长了大量虚假新闻的传播。社交媒体中虚假新闻以极低的成本在互联网中快速扩散,将会给社会和人们的日常生活带来显著的负面影响。因此,设计针对虚假新闻的自动检测模型具有重要现实意义。传统单模态虚假新闻检测模型一方面仅仅聚焦于挖掘新闻文本自身的统计学和语言学特征,通过挖掘出来的特征进行机器学习或者深度学习建模对虚假新闻进行检测,另一方面这些模型主要采用图像统计学和图像分布式表示特征,没有深层次挖掘图像背后所表达的文字语义和知识等含义。针对现有方法存在的不足之处,本文开展了如下工作:(1)提出了一个融合知识图谱的虚假新闻检测模型,该模型通过引入外部知识库对虚假新闻检测任务提供支撑,对抽取出新闻文本的三元组生成向量表示,并采用cosine计算三元组间的相似度,最后利用该相似度信息进行虚假新闻检测。(2)提出了一个融合知识图谱和图像描述的深度学习框架下多模态虚假新闻检测模型,该模型不仅抽取出新闻文本中的三元组形式知识图谱,同时也融合了图像生成的描述文本,同时采用BERT框架将原文本、三元组、图像描述文本加以集成。在基准汉语虚假新闻语料库上的实验结果表明了该模型显著优于现有代表性方法。

基于提示学习与关联特征增强的虚假新闻检测方法

这是一篇关于虚假新闻检测,提示学习,特征提取,多模态,少样本的论文, 主要内容为随着互联网的高速发展,虚假新闻的数量和传播范围不断扩大,给人们获取真实信息带来了极大的困难。虚假新闻检测任务能够高效地帮助人们过滤掉虚假信息,提高信息的准确性和可信度。然而,在实际应用中,这个任务面临着标注成本高、样本少、训练结果差以及模型泛化能力弱等挑战。此外,随着新闻传播的多样化,新闻信息由单一的文本向图文多模态构成的传播形式转变。因此,为了全面捕捉新闻信息特征,多模态虚假新闻检测变得越来越重要。然而,由于不同模态数据之间存在巨大的差异性,导致特征之间的关联性不足,从而增加了虚假新闻检测的难度。为了解决上述挑战,本文提出的基于提示学习和关联特征增强的虚假新闻检测算法,分别针对单模态和多模态数据进行研究,能够有效提高虚假新闻检测的准确性和泛化能力。本文在相关数据集上进行了实验,实验结果验证了本文方法的有效性和可行性。本文主要贡献:(1)提出基于知识增强提示学习的虚假新闻检测算法。针对实际场景中样本数据不足的问题,本研究提出了一种基于知识增强提示学习的虚假新闻检测算法。该算法利用T5模型自动生成的提示模板,将虚假新闻检测任务转换为基于提示学习的虚假新闻检测,并引入外部实体知识特征以增强检测能力。通过精心设计的提示信息,有效地激发了模型的潜在知识,提升了少样本场景下的虚假新闻检测效果,并提高了模型的泛化能力。此外,本文在Politi Fact数据集和Gossip Cop数据集上进行实验,结果表明该算法在这两个数据集上均取得了良好的效果,证明了算法的有效性和可行性。(2)提出基于关联特征增强的多模态虚假新闻检测算法。针对不同模态数据之间存在差异性而导致特征关联性不足的问题,本研究提出了一种基于关联特征增强的多模态虚假新闻检测方法。该算法利用注意力机制增强模态间特征的关联性,有效地提高了多模态数据的融合效果。算法分为四个模块:文本特征提取、图像特征提取、注意力机制和分类器。首先,通过BERT模型提取丰富的语义文本特征,接着Text-CNN模型进一步过滤噪声信息并加强特征表示。然后,采用引入注意力机制的Res Net-51模型从图像中捕捉与文本特征关联性最大的图像特征进行加权。最后,将文本和图像特征组合成高信息量的多模态表示作为虚假新闻检测分类器的输入。本文通过在Weibo和Twitter数据集上进行了实验,良好的实验结果验证了本研究方法的有效性。