针对图卷积神经网络的对抗攻击防御算法研究与实现

这是一篇关于图卷积神经网络,非鲁棒特征,对抗训练,集成学习的论文, 主要内容为图卷积神经网络可以通过图卷积提取图数据的有效信息,在推荐系统、计算机视觉、药物发现等领域中被广泛用于节点分类、链路预测、图分类等任务。但同卷积神经网络一样,图卷积神经网络也容易受到对抗攻击的影响导致各类安全问题,例如通过伪造链接可以操控节点分类结果、通过插入虚假节点和链接可以影响图分类结果、通过构造后门攻击可以隐秘持续地对下游模型产生恶意影响等。因此针对图卷积神经网络的对抗攻击与防御技术研究引起了广泛关注。目前,图卷积神经网络的对抗防御算法研究主要面临以下问题:图数据本身的结构和特征都是离散的,数据的稀疏性导致一系列基于梯度的方法无法适用,且可能导致高昂的计算代价;现有防御算法大多针对特定攻击方法,缺乏针对图对抗攻击通用原理的研究。基于上述问题,本文针对图数据的拓扑结构信息和节点信息进行挖掘,从数据集特征出发,基于对抗训练和集成学习研究图卷积神经网络鲁棒性算法。本文主要研究内容如下:(1)提出了一种针对图数据拓扑结构和节点属性的非鲁棒特征提取方法。针对图数据特点,给出包含结构和属性的两种数据中的非鲁棒特征定义。通过在图数据上实施随机攻击生成随机图,借助随机图,在图卷积神经网络的嵌入空间基于结构矩阵相似度和特征平滑度差异,从原图数据中提取出了会使模型错判成随机图的结构非鲁棒特征和属性非鲁棒特征。(2)提出了一种基于非鲁棒特征的对抗训练模型。将原图中提取出的非鲁棒特征作为对抗样本,对图卷积神经网络进行对抗训练。在嵌入空间中提取非鲁棒特征大大降低了对抗样本的构造成本及难度。通过对抗训练让模型针对性地提高非鲁棒特征上的识别能力,能够在不降低模型原始表现的前提下提升对抗攻击防御能力。(3)设计并实现了基于非鲁棒特征的集成对抗训练算法VDERG。基于拓扑结构和节点属性两种图数据信息,构造两类对抗子空间不同的子模型,分别从图中提取非鲁棒特征,并基于提取特征进行对抗训练,最后集成两类子模型得到的节点嵌入向量,输入映射函数作为最终预测结果,通过集成算法充分学习了图数据的结构、属性特征。(4)实验验证集成对抗训练算法VDERG的算法性能。在Cora、CiteSeer、Pubmed数据集上,对比其他防御算法验证VDERG的防御能力,并分析了两种非鲁棒特征提取方法的有效性。基于代表性攻击算法Metattack,在干净数据集和不同扰动率的污染数据集上与其他防御方法进行了模型准确率对比,实验表明VDERG在干净数据上的准确率平均提升了 0.8%,在对抗攻击下最多提升了 6.91%的准确率,验证了本文提出的对抗训练算法能够在提升图卷积神经网络鲁棒性的同时提升模型本身学习能力。

基于深度学习的事件抽取技术研究与应用

这是一篇关于深度学习,事件抽取,远程监督,对抗训练,知识图谱的论文, 主要内容为事件抽取是信息抽取中的一个较为复杂的课题。在实际的工业管理软件领域中,事件抽取在处理客户投诉等工作中具有极高的应用价值,能够帮助企业实现产品的快速更新迭代和保持用户粘性。事件抽取不仅是目前自然语言处理的研究热点和难点,也在知识图谱相关任务中发挥着重要作用。事件抽取的任务目标是将非结构化的自然语言文本进行结构化的处理,从中自动抽取用户所需要和关注的事件信息并进行存储。目前BERT为代表的预训练模型能很好地处理多项NLP任务,但在事件抽取相关任务中的效果还有待进一步提升。如何提升事件抽取模型的性能,打破独立文本处理的局限性,提升开放域事件抽取的效果,是研究者们面临的重大挑战。本文对事件抽取任务进行了研究,在预训练模型上进行改进并将其应用到实际场景中,主要工作如下:(1)本文将Ro BERTa-wwm作为基线模型,针对触发词提取任务和论元提取任务分别做出改进。在触发词提取模型中利用标注数据构建触发词知识库,在触发词提取任务中将句子中的词与知识库中的触发词进行匹配,将匹配结果作为额外的文本特征进行模型训练,从而提高触发词提取的效果。在论元抽取中采用条件Layer Normalization来控制Transformer的生成行为,将各词到触发词的相对距离作为特征,将触发词作为Layer Normalization的条件输入,让整个句子融入触发词的语义信息,从而提高论元抽取的效果。(2)针对事件抽取领域数据集比较匮乏的问题,本文在实验中采用两个公开的开放域数据集,在实际应用场景中采用的是来自企业投诉的自制数据集,并使用同义词替换的方式进行数据增强。本文通过对比实验,对模型的改进和数据增强的有效性进行了验证和评估。(3)改进模型采用PGD对抗训练算法,同时在训练平滑阶段采用随机权重平均(SWA)优化方法,来提高模型的鲁棒性和泛化性能,并用对比实验加以证实。(4)将改进模型从开放域迁移到特定领域,进行模型迁移前后的对比实验,分析模型迁移的效果。(5)本文将事件抽取技术应用于某车辆配件企业客户关系管理平台中,对收集到的非结构化的客户投诉数据进行事件抽取,提取出结构化的事件信息,自动填写事件信息表单并以知识图谱的形式展示。通过此应用,售后部门可以高效地处理客户投诉,研发部门能够针对反馈意见及时进行技术改进和产品更新,从而实现本文的应用价值。

基于深度矩阵分解的抗扰动跨域推荐及其应用研究

这是一篇关于推荐算法,矩阵分解,对抗训练,神经网络,跨域推荐的论文, 主要内容为随着互联网快速发展,人们面临着信息过载的问题,过量的信息不仅会增加人们获取有效知识的难度,还可能会误导用户。为了解决这个问题,出现了个性化推荐,推荐系统能够给用户推荐合适的内容来满足用户的需求,比如在视频类、音乐类、电商类等网站给用户推荐视频、歌曲和商品。然而大多数基于神经网络的推荐模型聚焦于提高模型的整体性能,而忽略了模型的鲁棒性,特别是如果反馈数据被用户有意或无意的行为破坏,模型的准确度可能大幅下滑。另外当前主流的推荐算法存在数据稀疏和冷启动的问题,即用户或者条目的评分信息比较少,缺少历史行为的数据,限制了系统的性能。针对上述问题,本文研究了基于深度矩阵分解的抗扰动和跨域推荐算法研究,主要工作如下:(1)基于对抗训练的推荐系统鲁棒性研究,提出对抗深度矩阵分解(Adversarial Deep Matrix Factorization,ADMF)。针对在计算机视觉领域发现的对抗扰动会大幅降低以神经网络为基础的推荐模型性能的现象,本文将对抗训练应用到深度矩阵分解上,使模型既有神经网络强大的特征提取能力和表达性,又有足够的鲁棒性来面对不同的噪音影响。不同于常见的直接预测用户对不同条目评分来进行推荐列表的生成的方法,为了减小误差,采用pairwise(成对)的方法来生成推荐列表,避免预测评分带来的误差值。为了提高模型的鲁棒性,将对抗扰动添加到深度矩阵分解模型中隐藏层的参数上,而不是输入的数据中。在保证模型的推荐性能的同时,从更深的角度提高模型面对不同输入的鲁棒性。实验结果表明,在不同的数据集进行测试,提出的模型的性能至少提升了4%,而且模型的鲁棒性得到了提升。(2)基于深度矩阵分解的跨域推荐算法(Deep Matrix Factorization-Cross Domain Recommendation,DMF-CDR)。首先对当前跨域推荐的模型进行了研究,将跨域推荐的模型分成表征学习和跨域协同过滤两个阶段。在表征学习阶段,DMF-CDR利用深度矩阵分解的思路,不同于常用的基于自编码器的结构,使用多层感知机来对用户和条目的表征进行学习,这样经过深度网络进行学习后,得到的隐式特征具有更佳的表达能力。在跨域协同过滤阶段,DMF-CDR使用两个正交矩阵进行两个域间的知识迁移,最终的用户的评分信息由域内信息和跨域信息两个部分组成,实现更好的推荐性能,在跨域迁移过程中,可以通过超参数来控制知识迁移的强度,另外结合处理隐式反馈的方法,给每一个评分记录扩展出多个负样本进行训练,以更全面地训练模型。实验结果表明,DMF-CDR在推荐性能的表现上要优于最近的推荐方法,其准确度至少提高了3%。(3)基于协同过滤的电影推荐系统设计与实现。该系统具有查看电影、用户信息,相似电影推荐和个性化推荐电影等功能,能够与其他推荐网站相结合,可以方便用户与商家进行交互。该系统实现了两种协同过滤的方式(基于用户的方式和基于电影的方式)来进行电影推荐,以发掘更多的用户兴趣,并验证了推荐系统在实际应用中的可行性。

面向新闻站点的关系挖掘系统研究与开发

这是一篇关于关系抽取,知识图谱,Transformer,对抗训练的论文, 主要内容为知识图谱是组织和管理数据的重要手段,目前已经广泛应用于搜索引擎、问答系统和推荐系统等领域,正在给各行各业赋能。人工构造知识图谱,虽然精度很高,但效率极低,且要耗费大量的人力、物力和财力。如何自动高效的构建知识图谱是核心难题,关系抽取技术是解决这一问题的有效手段。关系抽取是指从文本中自动挖掘出关系三元组,挖掘出来的关系三元组可以用来构建和补充知识图谱。互联网上的文本浩如瀚海,但很多文本不规范,信息量极少,本文旨在从较为规范的新闻文本中自动高效的挖掘出大量关系三元组,用来扩充现有开源知识图谱。基于传统机器学习的关系抽取技术,需要人为设计大量特征,费时费力,而且由上游的自然语言处理工具所造成的错误会引起错误传播。深度学习可以从文本数据中,自动学得对当前任务有效的特征。本文展开基于深度学习的关系抽取算法的相关研究,并且设计和实现了面向新闻网站的关系挖掘系统。本文首先阐述了关系抽取的研究意义和国内外研究现状,然后介绍了深度学习的基本原理以及卷积神经网络(Convolution Neural Network,CNN)和长短期记忆网络(Long Short-Term Memory,LSTM)这两种常用于自然语言处理的神经网络模型,并且简单的介绍了自然语言处理中的词向量技术。详细的介绍了中文关系抽取和英文关系抽取所面临的困难的不同,针对目前神经网络在中文和英文关系抽取所存在的缺陷,在中文和英文上设计了对应的以Transformer为主编码器的关系抽取模型。本文的主要贡献如下:1.针对卷积神经网络在关系抽取上无法捕获远距离特征的问题,以及长短期记忆网络无法并行化的问题,根据中文关系抽取和英文关系抽取各自的特点,分别设计了以Transformer为主编码器的关系抽取算法。Transformer通过自注意力机制能够有效捕获远距离特征,而且在计算过程中不需要逐步计算,能够通过矩阵计算实现高度并行化。在中文关系抽取和英文关系抽取上做了大量实验,验证了模型的有效性。2.针对标记语料不足的问题,提出使用半监督学习中的self-training方式迭代训练神经网络模型。不断的从网络上抓取新闻文本,使用现有模型从新闻文本中提取关系三元组,将预测度较高的新闻文本填充到训练集中,从而扩大训练集规模,提高模型性能。3.将对抗训练技术适配到中文和英文关系抽取模型中,对抗训练通过对输入数据增加微弱的随机噪声构造对抗样本,模型在对抗样本上训练。不仅提高了模型效果,而且增强了模型的鲁棒性,有效的减弱了半监督学习中所带来的噪声问题。4.根据对中文关系抽取和英文关系抽取的研究结果,设计和实现了同时支持中文和英文的面向新闻网站的关系挖掘系统。此外,该系统支持上下位关系这种特殊关系的抽取。

基于数据调试和课程对抗训练的推荐技术研究

这是一篇关于推荐系统,数据调试,对抗训练,课程学习的论文, 主要内容为推荐系统在人们的生活中越来越普及,已经成为了研究的热点。为了准确地建模用户的偏好,大量的已有研究工作主要关注于构建更复杂的推荐模型或者引入用户社交关系、物品属性等辅助信息。相比之下,从数据本身的质量与模型训练的控制角度出发的研究则相对较少,而这些因素对于推荐效果也有着重要影响,主要体现在以下两个方面。第一,推荐系统的训练数据由系统中的用户提交,难免存在较多的噪声,相比于那些精准的标注训练数据,数据质量问题可能会影响推荐模型的效果。第二,已有研究工作表明经过常规训练过程得到的推荐模型其用户/物品隐向量质量不高,容易导致模型泛化能力不足。针对数据质量问题,现有工作主要使用一些异常检测方法来帮助过滤噪声数据,这类工作没有显式地考虑检测出来的噪声数据对推荐效果的影响。针对模型训练问题,现有工作表明将对抗训练技术应用到一些推荐模型的训练过程中能够提升模型的泛化效果,然而,现有工作使用对抗训练采用固定的扰动强度,学习曲线不够平滑。因此,对于数据质量问题本文显式地考虑训练数据对模型推荐效果的影响,而对于模型训练问题本文借助课程学习思想考虑使用多种对抗扰动强度进行对抗训练。具体而言,本文的主要内容如下:●基于数据调试的推荐。本文提出了一种针对推荐系统的数据调试方法,能够定位出训练数据中影响整体推荐效果的数据,进而编辑这些数据提高训练得到的模型的推荐效果。实验结果说明,在两个评分数据集上,本文提出的方法都可以通过编辑原始训练数据的方式显著提升推荐效果。●基于课程对抗训练的推荐。本文提出一种基于课程对抗训练的推荐方法,让模型依次在不同扰动强度下进行对抗训练,能够充分发挥对抗训练的作用,从而提高模型的推荐效果。实验结果说明,在两个隐式反馈数据集上,本文提出的方法相比只在一种对抗扰动强度上进行对抗训练,能够取得更好的推荐效果。●面向电影推荐的原型推荐系统。为了验证以上技术的合理性和可行性,本文还针对电影推荐场景,应用以上提出的技术设计与实现了一个原型推荐系统。

基于深度学习的金融领域中文实体关系联合抽取算法研究

这是一篇关于金融领域,实体关系联合抽取,重叠三元组,指针标注,对抗训练,FinBERT的论文, 主要内容为在当今信息化时代,金融领域的各类金融交易和活动每天都会产生海量的信息资源。如何快速而准确地从海量的数据中获取有用的知识成为金融领域信息智能处理研究的一个难点。利用实体关系抽取方法可以自动高效地从这些非结构化的金融信息中抽取三元组,为构建金融领域知识图谱提供数据支持。实体关系抽取可以分为流水线方法和实体关系联合抽取方法。流水线方法把实体关系抽取分为两个独立的任务,因此会导致任务之间缺乏关联、错误传播以及信息冗余等问题。而实体关系联合抽取方法可以在一个统一的模型中同时处理实体和关系,克服流水线方法存在的缺点,成为主流学习方法。本文针对金融领域实体关系联合抽取技术进行深入研究,主要研究内容如下:(1)针对重叠三元组问题,本文提出融合FGM(Fast Gradient Method)和指针标注的实体关系联合抽取模型BERT-FGM。该模型以BERT(Bidirectional Encoder Representations from Transformers)模型为基础,通过使用一种新的指针标注策略将实体对上的关系建模为函数,有效地解决重叠三元组问题。此外,通过在BERT模型训练词向量的过程中融入FGM对抗训练算法提高模型的泛化性能。在公共数据集Web NLG和NYT与其他实体关系联合抽取模型进行对比实验,本文提出的BERT-FGM模型的F1值达到90.7%和88.3%,有效地解决三元组重叠问题。(2)针对中文BERT模型未对金融领域优化和以字为粒度切分的缺点,本文基于金融领域预训练模型Fin BERT(BERT for Financial Text Mining)对BERT-FGM模型优化得到Fin BERT-FGM模型。该模型使用全词MASK技术对金融领域的语料库和词汇表进行预训练,学习金融领域的先验知识,克服BERT模型在中文金融文本识别不佳的缺点。在本文构建的金融关系三元组数据集上的对比实验中,Fin BERT-FGM模型相比于BERT-FGM模型在准确率和召回率上分别提升了2.8%和3.4%。使用Python设计并开发一款基于Fin BERT-FGM模型的金融领域关系三元组抽取软件,实现识别结果的可视化及保存识别结果的功能。

基于数据调试和课程对抗训练的推荐技术研究

这是一篇关于推荐系统,数据调试,对抗训练,课程学习的论文, 主要内容为推荐系统在人们的生活中越来越普及,已经成为了研究的热点。为了准确地建模用户的偏好,大量的已有研究工作主要关注于构建更复杂的推荐模型或者引入用户社交关系、物品属性等辅助信息。相比之下,从数据本身的质量与模型训练的控制角度出发的研究则相对较少,而这些因素对于推荐效果也有着重要影响,主要体现在以下两个方面。第一,推荐系统的训练数据由系统中的用户提交,难免存在较多的噪声,相比于那些精准的标注训练数据,数据质量问题可能会影响推荐模型的效果。第二,已有研究工作表明经过常规训练过程得到的推荐模型其用户/物品隐向量质量不高,容易导致模型泛化能力不足。针对数据质量问题,现有工作主要使用一些异常检测方法来帮助过滤噪声数据,这类工作没有显式地考虑检测出来的噪声数据对推荐效果的影响。针对模型训练问题,现有工作表明将对抗训练技术应用到一些推荐模型的训练过程中能够提升模型的泛化效果,然而,现有工作使用对抗训练采用固定的扰动强度,学习曲线不够平滑。因此,对于数据质量问题本文显式地考虑训练数据对模型推荐效果的影响,而对于模型训练问题本文借助课程学习思想考虑使用多种对抗扰动强度进行对抗训练。具体而言,本文的主要内容如下:●基于数据调试的推荐。本文提出了一种针对推荐系统的数据调试方法,能够定位出训练数据中影响整体推荐效果的数据,进而编辑这些数据提高训练得到的模型的推荐效果。实验结果说明,在两个评分数据集上,本文提出的方法都可以通过编辑原始训练数据的方式显著提升推荐效果。●基于课程对抗训练的推荐。本文提出一种基于课程对抗训练的推荐方法,让模型依次在不同扰动强度下进行对抗训练,能够充分发挥对抗训练的作用,从而提高模型的推荐效果。实验结果说明,在两个隐式反馈数据集上,本文提出的方法相比只在一种对抗扰动强度上进行对抗训练,能够取得更好的推荐效果。●面向电影推荐的原型推荐系统。为了验证以上技术的合理性和可行性,本文还针对电影推荐场景,应用以上提出的技术设计与实现了一个原型推荐系统。

基于特征融合和biLSTM的短文本分类方法研究

这是一篇关于短文本分类,特征提取,Word2vec,对抗训练,LSTM,注意力机制的论文, 主要内容为在信息时代的今天,各式各样大量的短信息数不胜数,包括手机短信、垃圾邮件、问答及推荐系统的留言、购物平台的商品评价等,及时准确的从短文本库中抽取人类所需的信息是目前文本分类领域面临的一大难题;研究快速、灵活、高效、低耗的短文本内容提取策略是当前学术界的发展趋势,有助于提高用户获取有效信息的质量和速度,满足不同部门新闻分类、情感分类、舆情分析的需求。目前,短文本分类主要包括两种:基于特征工程的机器学习方法和基于神经网络的深度学习方法,本文做的主要工作是:构建多因素(特征的重要性、语义、维度)融合的特征选择函数FS,和传统的特征选择函数对比,FS不仅融入了特征的语义性,而且能够去除大量冗余特征,提高具有类别区分能力特征的权重;把FS作为新的特征选择函数,使用搜狗实验室的中文语料库进行短文本分类实验,验证了方法有效性,提高了短文本分类的准确率。提出一种在双向长短期记忆网络(biLSTM)的基础上结合注意力机制(Attention)和对抗训练的多层级短文本分类模型,模型包括输入层、biLSTM层、注意力机制层、模型优化层,其中输入层由词嵌入部分和词嵌入扰动部分构成,词嵌入扰动部分通过对抗训练对模型输入制造很小的扰动来增加训练过程中的参数更新,biLSTM层可以提取上下文不同距离语义化的信息,注意力机制层对经过biLSTM层编码的数据进行转变加权提升序列化的学习任务;模型优化层利用softmax函数使误差loss极小化并对短文本语料进行分类;在数据集(DBpedia)上进行实验,与分类性能较好的模型(Attention-LSTM)、(Attention-biLSTM)、(CNN-LSTM)、相比,这个多层级的深度学习模型分类性能更好,稳定性、泛化能力较强,预测分类准确率达97%,损失函数值稳定在0.5%左右。

针对图卷积神经网络的对抗攻击防御算法研究与实现

这是一篇关于图卷积神经网络,非鲁棒特征,对抗训练,集成学习的论文, 主要内容为图卷积神经网络可以通过图卷积提取图数据的有效信息,在推荐系统、计算机视觉、药物发现等领域中被广泛用于节点分类、链路预测、图分类等任务。但同卷积神经网络一样,图卷积神经网络也容易受到对抗攻击的影响导致各类安全问题,例如通过伪造链接可以操控节点分类结果、通过插入虚假节点和链接可以影响图分类结果、通过构造后门攻击可以隐秘持续地对下游模型产生恶意影响等。因此针对图卷积神经网络的对抗攻击与防御技术研究引起了广泛关注。目前,图卷积神经网络的对抗防御算法研究主要面临以下问题:图数据本身的结构和特征都是离散的,数据的稀疏性导致一系列基于梯度的方法无法适用,且可能导致高昂的计算代价;现有防御算法大多针对特定攻击方法,缺乏针对图对抗攻击通用原理的研究。基于上述问题,本文针对图数据的拓扑结构信息和节点信息进行挖掘,从数据集特征出发,基于对抗训练和集成学习研究图卷积神经网络鲁棒性算法。本文主要研究内容如下:(1)提出了一种针对图数据拓扑结构和节点属性的非鲁棒特征提取方法。针对图数据特点,给出包含结构和属性的两种数据中的非鲁棒特征定义。通过在图数据上实施随机攻击生成随机图,借助随机图,在图卷积神经网络的嵌入空间基于结构矩阵相似度和特征平滑度差异,从原图数据中提取出了会使模型错判成随机图的结构非鲁棒特征和属性非鲁棒特征。(2)提出了一种基于非鲁棒特征的对抗训练模型。将原图中提取出的非鲁棒特征作为对抗样本,对图卷积神经网络进行对抗训练。在嵌入空间中提取非鲁棒特征大大降低了对抗样本的构造成本及难度。通过对抗训练让模型针对性地提高非鲁棒特征上的识别能力,能够在不降低模型原始表现的前提下提升对抗攻击防御能力。(3)设计并实现了基于非鲁棒特征的集成对抗训练算法VDERG。基于拓扑结构和节点属性两种图数据信息,构造两类对抗子空间不同的子模型,分别从图中提取非鲁棒特征,并基于提取特征进行对抗训练,最后集成两类子模型得到的节点嵌入向量,输入映射函数作为最终预测结果,通过集成算法充分学习了图数据的结构、属性特征。(4)实验验证集成对抗训练算法VDERG的算法性能。在Cora、CiteSeer、Pubmed数据集上,对比其他防御算法验证VDERG的防御能力,并分析了两种非鲁棒特征提取方法的有效性。基于代表性攻击算法Metattack,在干净数据集和不同扰动率的污染数据集上与其他防御方法进行了模型准确率对比,实验表明VDERG在干净数据上的准确率平均提升了 0.8%,在对抗攻击下最多提升了 6.91%的准确率,验证了本文提出的对抗训练算法能够在提升图卷积神经网络鲁棒性的同时提升模型本身学习能力。