少样本条件下知识图谱推理问题研究
这是一篇关于少样本,知识图谱推理,图注意网络,Transformer,注意力机制的论文, 主要内容为在大数据飞速发展的时代,各类数据信息激增,使得以网络结构表示实体之间信息交互的知识图谱成为研究热点。知识图谱以三元组的形式表示现实世界的客观事实,但来源于各类百科知识的知识图谱往往都是不完整的,存在大量隐含实体和关系缺失的现象。由此,知识图谱推理算法被广泛应用于对不完整的知识图谱进行补全的问题研究。现有的知识图谱推理方法通常需要为每个关系提供大量的训练三元组实例,但事实上很多关系只有很少量的训练样本,这使得传统方法在训练过程中容易产生过拟合问题。因此为解决过拟合问题,少样本条件下基于知识图谱推理的知识图谱补全方法亟待研究,本文主要研究内容如下:(1)基于图注意网络和Transformer的知识图谱表示方法。该方法获得全局-局部信息的融合表示后,再结合上下文信息进行编码表示,解决少样本条件下容易过拟合的问题。具体地,先通过一个图注意网络编码参考集关系-实体对在全局知识图谱中的一般表示;在局部编码阶段获取参考集三元组的邻居结构表示,并通过级联方式获得全局-局部信息的融合编码表示。接下来,将融合后的表示输入Transformer编码器中捕捉实体对及关系的上下文含义,获得实体对的表达。最后通过一个由门控循环单元组成的匹配度量模块,从编码器模块获取参考、查询集中任意两个实体对的向量表示,然后在两个实体对之间进行多步匹配并输出相似度得分。(2)基于注意力机制的关系感知知识图谱表示方法。该方法通过参数生成模块获得特定于某关系的可学习参数,有效提高训练样本的表达能力。具体地,模型首先获得参考集三元组的一跳邻居结构图,并使用预训练模型得到邻居信息的初始嵌入。由于传统加性知识图谱特征表示方法同时对实体和关系同时进行加性连接操作存在局限性,在这里只对头尾实体的嵌入表示进行连接操作。对于关系嵌入表示则采用一个上下文参数生成模块对关系进行操作处理,得到特定于参考查询关系的可学习参数。在关系感知的编码器模块中,得到特定于参考查询关系的实体对表示。最后,通过基于注意力机制的自适应匹配度量模块,对参考集与查询集表示进行相似度打分。本文对以上两种方法在公开数据集NELL和Wiki中进行了链接预测实验验证,并与相关先进模型进行对比。实验结果表明,本文方法在链接预测任务中有较好的表现,能很好的完成少样本知识图谱推理任务。
少样本条件下知识图谱推理问题研究
这是一篇关于少样本,知识图谱推理,图注意网络,Transformer,注意力机制的论文, 主要内容为在大数据飞速发展的时代,各类数据信息激增,使得以网络结构表示实体之间信息交互的知识图谱成为研究热点。知识图谱以三元组的形式表示现实世界的客观事实,但来源于各类百科知识的知识图谱往往都是不完整的,存在大量隐含实体和关系缺失的现象。由此,知识图谱推理算法被广泛应用于对不完整的知识图谱进行补全的问题研究。现有的知识图谱推理方法通常需要为每个关系提供大量的训练三元组实例,但事实上很多关系只有很少量的训练样本,这使得传统方法在训练过程中容易产生过拟合问题。因此为解决过拟合问题,少样本条件下基于知识图谱推理的知识图谱补全方法亟待研究,本文主要研究内容如下:(1)基于图注意网络和Transformer的知识图谱表示方法。该方法获得全局-局部信息的融合表示后,再结合上下文信息进行编码表示,解决少样本条件下容易过拟合的问题。具体地,先通过一个图注意网络编码参考集关系-实体对在全局知识图谱中的一般表示;在局部编码阶段获取参考集三元组的邻居结构表示,并通过级联方式获得全局-局部信息的融合编码表示。接下来,将融合后的表示输入Transformer编码器中捕捉实体对及关系的上下文含义,获得实体对的表达。最后通过一个由门控循环单元组成的匹配度量模块,从编码器模块获取参考、查询集中任意两个实体对的向量表示,然后在两个实体对之间进行多步匹配并输出相似度得分。(2)基于注意力机制的关系感知知识图谱表示方法。该方法通过参数生成模块获得特定于某关系的可学习参数,有效提高训练样本的表达能力。具体地,模型首先获得参考集三元组的一跳邻居结构图,并使用预训练模型得到邻居信息的初始嵌入。由于传统加性知识图谱特征表示方法同时对实体和关系同时进行加性连接操作存在局限性,在这里只对头尾实体的嵌入表示进行连接操作。对于关系嵌入表示则采用一个上下文参数生成模块对关系进行操作处理,得到特定于参考查询关系的可学习参数。在关系感知的编码器模块中,得到特定于参考查询关系的实体对表示。最后,通过基于注意力机制的自适应匹配度量模块,对参考集与查询集表示进行相似度打分。本文对以上两种方法在公开数据集NELL和Wiki中进行了链接预测实验验证,并与相关先进模型进行对比。实验结果表明,本文方法在链接预测任务中有较好的表现,能很好的完成少样本知识图谱推理任务。
基于元学习的少样本联合实体关系抽取研究——以汽车口碑评论语料为例
这是一篇关于少样本,联合实体关系抽取,元学习,汽车的论文, 主要内容为随着大数据时代的到来,海量数据的产生使得训练深层的,复杂的深度学习模型成为可能。然而海量的训练数据由于其无序,非结构化的特点很难直接用于模型训练,仍需要人工标注的参与。大量的时间成本和人力成本投入数据标注和数据处理的工作中。让模型能够快速,高效地在少样本背景下在当前任务有较好的表现成为近期研究热点之一。在自然语言处理领域,如何从文本中提取有价值的信息,如何快速理解海量文本的语意和重点一直都是核心的话题。知识图谱技术的日趋成熟也推动了利用实体关系抽取形成实体关系三元组的深度学习任务的发展。在这其中,如何用端到端的联合模型直接完成命名实体识别和关系抽取两个任务由于模型表现的优越逐渐成为主流的实体关系抽取任务解决路径。综合上述背景,本文主要关注少样本背景下的联合实体关系抽取任务,主要完成了以下任务:(1)利用爬虫采集汽车之家口碑评论数据,搭建实体关系三元组体系并按照少样本任务的要求创建少样本实体关系抽取语料。(2)在自建的少样本汽车口碑评论实体关系抽取语料的基础上,选择Cas Rel层叠指针网络作为实体关系抽取模型,以元学习算法MAML和Reptile作为模型训练算法验证模型表现。实验表明,优化初始特征的元学习算法能够显著提升少样本联合实体关系抽取任务的模型表现;单个类别提供的样本越多,模型表现越好,元训练类别越多,模型表现越差;Cas Rel联合实体关系抽取模型表现较好;MAML算法的基学习器迭代次数对算法表现影响不大,Reptile算法的基学习器迭代次数对算法表现有显著影响;MAML算法和Reptile算法的表现没有显著差异。(3)在其他同类型同任务语料上微调后使用模型抽取实体关系三元组并得出新能源车逐渐走入市场后车主对于电车续航,动力的关注度较高的结论。
基于GAN的遥感图像数据增强方法研究
这是一篇关于深度学习,生成对抗网络,数据增强,少样本,图像分类的论文, 主要内容为数据、模型和计算是深度学习的三大要素,其中数据为深度学习的基础,模型训练需要庞大且优质的数据支撑。遥感图像数据集的获取面临两个问题:(1)对于遥感图像的获取,无论使用卫星拍摄还是无人机拍摄,都会花费大量时间和人工成本,后期的图像标注也需要消耗大量时间。(2)对于数据标注,如果数据量庞大,人工标注无法确保遥感图像目标尤其是小目标的标注一致性,影响数据集质量,为后期图像分类、检测等视觉任务带来困难。所以,如何利用数据增强技术获得更多高质量遥感图像数据成为人们研究的热点。本文采用生成对抗网络(GAN)进行遥感图像数据增强方法的研究,主要研究内容如下:(1)针对深度卷积生成对抗网络(DCGAN)模型训练不稳定、出现过拟合现象导致图像生成质量不佳的问题,本文提出了一种改进DCGAN方法进行图像生成。该方法在判别器中加入Dropout层,同时提出一种新的指数软标签函数代替原始固定标签。在AID、NWPU-RESISC和RSOD遥感图像数据集上,使用Moblie Net V2等四种分类网络进行分类验证。以AID数据集分类实验为例,该方法相较常规增强和DCGAN增强方法在Moblie Net V2图像分类的准确率上分别提升了1.33%、2.81%,验证了本文所提方法的有效性。(2)针对超分辨率生成对抗网络(SRGAN)模型训练出现梯度消失的问题,提出了一种改进SRGAN模型。首先,该方法在SRGAN的判别器中使用空洞卷积残差块模型缓解梯度消失;其次,在判别器中加入CBAM注意力模块,进一步提取图像特征;最后,在判别器中加入自适应平均池化来降低模型参数量。在AID、NWPU-RESISC和RSOD数据集上进行超分辨率重构实验,实验表明,以AID数据集实验为例,改进SRGAN在峰值信噪比和结构相似性数值上较改进前算法分别提升了2.4、0.07,验证了改进模型的有效性。(3)针对遥感图像数据增强中图像生成质量不佳且分辨率低的问题,利用改进SRGAN和改进DCGAN各自优点,提出了一种DS-GAN协同数据增强算法,该算法可以生成新的高分辨率图像。使用AID、NWPU-RESISC和RSOD数据集在Moblie Net V2等四种分类网络上进行验证,结果表明,以AID数据集分类实验为例,该方法相较常规增强和DCGAN增强方法在Moblie Net V2图像分类的准确率上分别提升了8.01%、9.49%,验证了本文所提方法的有效性。
面向数据结构课程的少样本关系分类研究
这是一篇关于关系分类,少样本,知识图谱,数据结构,注意力机制的论文, 主要内容为随着信息技术与教育的深度融合,数字化工具和平台正逐渐成为教育的重要组成部分。由于如今教育教学资源的逐渐增多,知识与知识之间的关系错综复杂,因此如何从海量信息中获取有效信息以提高教学质量和学习效果受到了教育领域的广泛关注。近年来,机器学习在关系分类方面表现出了优越的性能。基于机器学习的关系分类通常需要大量的数据进行训练,在教育领域里一些学科的数据集由于存在缺乏足够的样本等问题,难以使用传统机器学习方法实现相关资源的关系分类。知识图谱是一种结构化的知识表示方式,它将复杂的事物、概念、事件及其之间的关系以图的形式展现出来,可以将某一学科的知识点、概念、理论、实践等不同的教学资源进行有效的关联和整合。数据结构课程在科学教育中占据着重要的地位,所以如何更有效地提取并利用该领域的数据资源显得至关重要。为此,本文从少样本学习的角度出发,对数据结构知识的关系分类任务展开研究,主要研究内容如下:(1)构建一个用于关系分类任务的数据结构数据集。首先采取一种半自动化的数据集构建方法,结合基于词典的实体抽取、基于机器学习的实体抽取和人工标注等多个步骤,降低数据集构建成本,提高实体标注的效率。然后通过文本筛选和关系标注,构建具有明确实体关系的三元组。最后在数据预处理阶段,通过预训练模型获取实体的词嵌入,并采用过滤、格式调整和分词处理等技术,形成较完善的数据结构数据集。(2)构建基于注意力机制与掩码模块的少样本中文关系分类模型。为了建立一个适用于中文教育领域的少样本关系分类模型,进行了一系列策略研究,具体如下:首先,本文构建一个专门用于中文文本的预训练模型,以捕捉中文词语和句子的语义信息。其次,将知识增强网络内嵌到原型网络中,处理句子信息并通过注意力机制有效地融合实体词嵌入以及概念词汇的知识表示。此外,关系元学习网络通过关系元学习器和关系元更新器,有效地捕获实体与概念词的词嵌入与语义信息,同时借助掩码机制提升模型的鲁棒性。最后,采用加权处理和关系分类总损失函数来计算各模块输出,高效地完成少样本关系分类任务。该模型在中文《数据结构》课程数据集关系分类任务的准确率上达到了97.54%,该模型在进行关系分类任务时表现出了卓越的性能和准确性,能够准确地识别和分类各种不同的数据结构之间的关系。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设港湾 ，原文地址：https://m.bishedaima.com/lunwen/54118.html
