基于知识图谱与字词结合模型的短文本分类

这是一篇关于短文本分类,文本扩展,知识图谱,多头注意力,BERT模型的论文, 主要内容为在大数据时代,随着电子商务交易和即时通讯平台的快速发展,网络上的短文本数据日益增长。所以,从这些数量巨大的短文本数据中提取出宝贵的知识是十分有必要的。短文本分类是自然语言处理领域的一个经典问题,它基于篇幅较短的文本数据学习其深层语义表征,同时用于分类任务。此类文本的长度通常较短,包含的有效信息较少且文本的口语化严重,具有极强的不规范性。所以,本文针对短文本特征稀少以及不规范的特点,从扩充短文本篇幅以及深层挖掘短文本特征两方面入手对短文本分类的问题进行研究,主要工作如下:(1)使用知识图谱对短文本进行扩展。针对短文本篇幅短小,蕴含语义特征稀疏的问题,本文提出使用知识图谱对短文本进行扩展。对短文本进行数据预处理后,使用Text Rank算法得到短文本的关键词词集。之后依次从知识图谱中查询关键词,并对查询结果进行实体消歧,得到当前关键词的扩展文本。最后将原文本与所有关键词的扩展文本拼接得到短文本基于知识图谱的扩展文本。同时,使用Word2Vec工具对扩展文本做词嵌入,并使用常见的文本分类模型Text CNN对其进行分类,验证本方法的性能。实验结果表明,使用知识图谱对短文本进行扩展后的分类准确率有所提升。(2)使用BERT模型改进一词多义问题。Word2Vec工具将词语表示为一个统一含义、统一维度的静态向量,无法对词语的不同含义动态地表达。针对此问题,本文使用BERT模型进行改进。在使用知识图谱对短文本进行扩展的基础上,使用BERT模型对扩展文本进行动态地词嵌入,并使用三类网络模型:BERT+CNN、BERT+RNN、BERT+RCNN分别提取扩展文本的深层特征。实验结果表明,使用BERT模型可以有效改善一词多义的问题,提升短文本分类的准确率。(3)提出基于字词结合和多头注意力机制的分类模型Char＿Word＿RMCNN。针对BERT模型以字为单位进行向量表示时的语义表达能力不足,本文提出基于字词结合和多头注意力机制的分类模型。使用Word2Vec工具和BERT模型两种词嵌入模型对短文本进行表示,结合两者的优势对短文本进行联合语义提取。之后,通过结合多头注意力机制的深度学习网络模型对两个词向量模型提取的语义特征进行聚合得到该文本的深层特征。实验结果表明,使用Char＿Word＿RMCNN模型对短文本进行分类的准确率有较高的提升。综上所述,本文使用知识图谱对短文本进行扩展,并使用BERT模型改进一词多义的问题,最后针对BERT模型以字为单位进行向量表示时的语义表达能力不足,提出了Char＿Word＿RMCNN模型提取短文本的深层特征。与直接对微博数据集和头条数据集使用Text CNN模型进行分类相比,使用知识图谱对两个数据集进行扩展,并使用Char＿Word＿RMCNN模型进行分类的准确率分别提高了0.2227和0.1422,F1得分的加权平均值分别提高了0.2213和0.1445。

基于企业互联网营销平台的用户情绪监测模型构建与应用

这是一篇关于多源异构,情绪监测,多模态融合,多头注意力,智能推荐的论文, 主要内容为随着互联网技术的不断发展和普及,“互联网+”创新模式已成为传统企业进行数字化转型和产业升级的必然趋势。在此背景下,浙江省某大型企业利用大数据、人工智能和云计算等先进技术搭建了“互联网+营销”的智能信息一体化平台。该平台整合了多平台媒体矩阵,拥有大量用户对企业营销活动所发表的观点和评价,以及直播营销活动中产生的时序性弹幕数据。如何处理并利用这些多源异构数据捕获用户需求和感知市场变化,从而更加精准化,智能化地进行业务决策和创新,实现营销效果最大化是企业重点关注的问题。为此本文在该互联网营销平台TB级用户评论数据支撑下,提出了基于改进有用性主题和谱聚类融合的代表性评论提取算法、融合多特征的弹幕数据情绪监测网络模型、融合主题特征的多模态决策多样性情绪监测模型和基于用户情绪与知识图谱的个性化推荐算法,实现从有用性主题提取到情感分类再到个性化推荐整个智能推荐过程。最后结合该互联网营销平台构建了基于时序性用户情绪监测图、“区域-用户”情绪监测图和“主题-用户”情绪监测图的智能化推荐模块,为企业智能化精准营销提供支持。本文主要从直播营销场景和多平台媒体营销场景进行研究,具体内容总结如下:(1)针对多源异构数据冗余度高和传统主题特征提取未考虑文本内容有用性等问题,提出了一种基于改进有用性主题和谱聚类融合的代表性评论提取算法。首先,在传统LDA模型基础上,将点赞、转发、收藏、受评数等作为文本内容的有用性权重改变其词-主题分布统计方式,并给出了相应推导公式,证明了该有用性权重能将有用性词-主题凸显出来。然后,利用改进模型抽取出有用性信息的主题分布,再利用皮尔森系数构建相似矩阵,最后,用谱聚类实现有用性评论聚类,进一步降低冗余,并提取簇中心附近评论作为代表性评论。以该互联网营销平台数据为对象进行验证,结果表明,该模型相较于其他模型能很好解决数据冗余问题且评论主题更具有代表性。(2)针对直播营销场景中忽略弹幕数据的时序性、多义性和稀疏性从而导致情感特征提取不准确不充分问题,提出了一种融合多特征的弹幕数据情绪监测模型。首先,针对弹幕数据多义性问题,构建了“Emoticon-Word”词典(多义性表情符号词典)以及相关弹幕语料库;然后,针对弹幕数据稀疏性问题,将弹幕数据基本属性(文字颜色、字体、点赞数等)与文本拼接输入ALBERT中作特征提取,同时,与辅助模块Glo Ve模型预训练的表情符号经过自注意力模块融合。其次,为加强弹幕属性的时序性,用Bi GRU模块从前向和后向捕获信息,加强语义依赖。最后用Softmax逻辑回归进行情感倾向性分类,构建情绪监测图。以某互联网营销平台163253条弹幕数据为对象对模型进行性能验证,结果表明,该模型准确率达88.8%,精确率达88.7%,召回率达88.9%,1F值达88.8%,相较于其他模型均有一定提升。该模型可为企业在营销活动中实现用户情绪监测以及智能化精准营销提供支持。(3)针对整合多平台媒体场景中特征稀疏,多模态融合效果不佳,多模态情感特征提取不充分问题,提出了一种融合主题特征的多模态决策多样性情绪监测模型。首先,采用预训练ALBERT模型提取文本词向量特征表示,采用预训练后的Res Net-18提取图像特征表示。然后,为避免文本特征过于稀疏,将提取的词向量特征与Help-LDA提取的主题特征进行多阶段融合。其次,采用多头注意力捕获图文相关性,将融合后的联合特征与已提取的图像特征进行再次融合。同时,为体现各自模态特征,采用决策融合将联合特征和各模态独立特征进行整合,其中,添加余弦相似性惩罚,提高模型泛化能力。最后用Softmax逻辑回归进行情感倾向性分类,构建“区域-用户”情绪监测图以及“主题-用户”情绪监测图。以某互联网营销平台图文数据为对象对模型进行性能验证,结果表明,该模型的图文情感识别效果相较于其他模型均有一定提升。(4)针对现有推荐算法未考虑用户情绪指标从而导致营销活动中产品推荐不准确问题,提出了一种融合用户情绪与知识图谱的个性化推荐算法。首先,基于企业数据库构建企业产品知识图谱和用户画像。然后,抽取出企业产品的实体属性特征和用户需求特征,分别用余弦相似系数构建相关相似度矩阵,并采用加权几何平均得到需求匹配相似度矩阵。其次,考虑不同时间和区域内用户的情绪波动,将时序性用户情绪、主题用户情绪、区域用户情绪等多种情绪指标进行加权求和平均,构建情绪度量矩阵。结合情绪度量矩阵与匹配相似度矩阵构建目标函数,计算可推荐性服务得分列表。在推荐过程中,根据用户情绪指标和推荐结果的匹配程度,为用户呈现最符合需求的产品和活动,并提供详细的信息和推荐理由。最后,结合该互联网营销平台构建了融合用户情绪监测的智能推荐模块,将本文所提出的算法模型进行应用,并给出了相应模块设计流程以及对各模块进行可视化展示。

基于多头注意力机制和图神经网络的点击率预测研究

这是一篇关于高阶组合特征,点击率,多头注意力,图神经网络,GaAN的论文, 主要内容为CTR(click-through rat,点击率)预测在广告推送,个性化推荐,电子商务,信息推送中发挥着重要的作用,而CTR预测依赖对高阶组合特征的建模,然而在最近的研究中却存在着以下问题:(1)分配给所有的高阶组合特征相同的权重,限制了模型的表达能力。(2)传统的特征交互方式(比如内积,外积,哈达玛积)限制了高阶组合特征的表达。(3)使用深度神经网络对特征进行隐式交互,缺乏可解释性。本文基于多头注意力机制和图神经网络解决上面遇到的问题。首先,针对不同的组合特征拥有相同权重的问题,本文基于多头注意力机制提出了AIM(Automatic feature Interaction Machine,自动特征交互机)模型,将多头注意力机制和外积/哈达玛积结合,达到对高阶组合特征分配不同权重的目的,同时本文证明了多头注意力机制结合哈达玛积的组合方式和CIN(Compressed Interactive Network,压缩交互网络)提取高阶组合特征的原理是一样的,之后通过在一阶特征和高阶组合特征中加入残差,能进一步加强一阶特征和高阶组合特征的交互,模型的性能也进一步提高,本文的模型是在向量水平上以显示的方式对高阶组合特征进行建模,通过叠加多个交互层,模型能够构建任意阶组合特征。接着本文研究了图神经网络相关的算法,利用图神经网络强大的表示能力,高性能和高解释性的优点,将图神经网络和CTR预测相结合,提出了基于图卷积神经网络和多头注意力机制的GCAN(Graph Convolutional Attention Networks,图卷积注意力网络)模型,模型使用多头注意力机制来改进Fi-GNN(Feature Interactions via Graph Neural Networks,基于图神经网络的特征交互)模型,解决节点聚合过程中对边的权重建模不充分的问题,之后对残差重新进行研究,在节点聚合过程中加入当前节点信息,并在节点更新过程加入一阶节点信息,能够有效的将一阶特征和高阶组合特征进行组合,同时在GCAN模型结合前馈神经网络提取的隐式组合特征的情况下,性能能够进一步提高。针对多头注意力机制在头数大于一的情况下,会产生多个头和多个权重矩阵,而多头注意力机制却对每个头分配相同的权重,这限制了模型的表达能力,本文基于GaAN(Gated Attention Networks,门控注意力网络)使用平均池化和最大池化对头权重进行建模,解决了基于多头注意力机制的模型无法准确对高阶组合特征权重进行建模的问题,同时提高了模型的可解释性。通过研究将GaAN运用到Auto Int(Automatic Feature Interaction,自动特征交互)模型的结果,证明了GaAN在推荐系统中的有效性,之后本文进一步利用GaAN来改良AIM模型和GCAN模型中的多头注意力机制,使得模型的性能进一步提高。本文在真实世界的两个公开数据集Movie Lens-1M和Criteo上进行了广泛的实验,与最新最先进的模型相比,实验结果证明了模型的有效性。

基于知识图谱与字词结合模型的短文本分类

这是一篇关于短文本分类,文本扩展,知识图谱,多头注意力,BERT模型的论文, 主要内容为在大数据时代,随着电子商务交易和即时通讯平台的快速发展,网络上的短文本数据日益增长。所以,从这些数量巨大的短文本数据中提取出宝贵的知识是十分有必要的。短文本分类是自然语言处理领域的一个经典问题,它基于篇幅较短的文本数据学习其深层语义表征,同时用于分类任务。此类文本的长度通常较短,包含的有效信息较少且文本的口语化严重,具有极强的不规范性。所以,本文针对短文本特征稀少以及不规范的特点,从扩充短文本篇幅以及深层挖掘短文本特征两方面入手对短文本分类的问题进行研究,主要工作如下:(1)使用知识图谱对短文本进行扩展。针对短文本篇幅短小,蕴含语义特征稀疏的问题,本文提出使用知识图谱对短文本进行扩展。对短文本进行数据预处理后,使用Text Rank算法得到短文本的关键词词集。之后依次从知识图谱中查询关键词,并对查询结果进行实体消歧,得到当前关键词的扩展文本。最后将原文本与所有关键词的扩展文本拼接得到短文本基于知识图谱的扩展文本。同时,使用Word2Vec工具对扩展文本做词嵌入,并使用常见的文本分类模型Text CNN对其进行分类,验证本方法的性能。实验结果表明,使用知识图谱对短文本进行扩展后的分类准确率有所提升。(2)使用BERT模型改进一词多义问题。Word2Vec工具将词语表示为一个统一含义、统一维度的静态向量,无法对词语的不同含义动态地表达。针对此问题,本文使用BERT模型进行改进。在使用知识图谱对短文本进行扩展的基础上,使用BERT模型对扩展文本进行动态地词嵌入,并使用三类网络模型:BERT+CNN、BERT+RNN、BERT+RCNN分别提取扩展文本的深层特征。实验结果表明,使用BERT模型可以有效改善一词多义的问题,提升短文本分类的准确率。(3)提出基于字词结合和多头注意力机制的分类模型Char＿Word＿RMCNN。针对BERT模型以字为单位进行向量表示时的语义表达能力不足,本文提出基于字词结合和多头注意力机制的分类模型。使用Word2Vec工具和BERT模型两种词嵌入模型对短文本进行表示,结合两者的优势对短文本进行联合语义提取。之后,通过结合多头注意力机制的深度学习网络模型对两个词向量模型提取的语义特征进行聚合得到该文本的深层特征。实验结果表明,使用Char＿Word＿RMCNN模型对短文本进行分类的准确率有较高的提升。综上所述,本文使用知识图谱对短文本进行扩展,并使用BERT模型改进一词多义的问题,最后针对BERT模型以字为单位进行向量表示时的语义表达能力不足,提出了Char＿Word＿RMCNN模型提取短文本的深层特征。与直接对微博数据集和头条数据集使用Text CNN模型进行分类相比,使用知识图谱对两个数据集进行扩展,并使用Char＿Word＿RMCNN模型进行分类的准确率分别提高了0.2227和0.1422,F1得分的加权平均值分别提高了0.2213和0.1445。

基于多头注意力机制的门控网络的语音增强方法研究

这是一篇关于语音增强,多头注意力,多尺度判别器,门控控制网络的论文, 主要内容为实际通信过程中,交流频率最高的方式是语音交流,而现实生活中极易受到周围环境噪声的干扰,从而影响语音交流信号的质量、沟通的效率。为此,就需要采用语音增强技术来提高语音信号的质量,达到去除环境噪声,提高语音信号的质量的目的。语音增强的具体任务其实就是增加语音信号的信噪比,使得其更被利于听清和理解。近年来,随着深度学习的发展,由于神经网络有处理复杂的非线性关系的能力,同时语音信号是一种连续时间和连续幅度的非平稳信号,所以人们开始使用深度神经网络运用到语音增强的领域。本文主要研究内容如下:(1)提出了一种基于多头注意力机制的门控网络模型。针对传统的卷积循环神经网络中的长期依赖问题。本文主要基于门控网络(GCN)架构,结合Transformer多头注意力机制,并在原生Transformer的基础上改进残差结果,缓解Post-LN结构造成的梯度消失现象,同时在模型中间层分别在时间和频率维度上使用多头注意力机制,提出了改进后的门控循环单元(GRU),在一定程度上解决门控网络没有很好的考虑每个时间片的重要信息的问题,同时减少模型的计算量。(2)提出GCN作为生成器的一部分,并使用多尺度判别器与LSTM结合来共同构建GAN模型。门控网络可以通过控制GAN生成器的输入,使生成器能够生成更加多样化的语音信号,从而提高语音信号的多样性和稳定性。同时门控网络可以自适应地选择输入GAN生成器的特征,因此可以减少训练时间和数据量,从而加快训练速度。由于本文使用了5个信噪比来预处理数据集,而使用多尺度判别器可以更全面地理解输入语音的特征,并更准确地区分不同信噪比的语音信号,从而提高语音增强的性能。(3)受U-Net在计算机视觉中的应用启发,本文提出了一种优化的网络模型GCU-N,其编码器和解码器采用两个四层U-Net单元来捕获动态长期上下文信息,其中间层仍然使用本文提出的GCN模型的相同结构。

基于胶囊网络的新闻文本分类研究

这是一篇关于深度学习,新闻文本分类,多头注意力,胶囊网络的论文, 主要内容为随着网络时代的发展,各大平台的新闻数据量不断激增且难以有效管理,导致用户很难快速获取感兴趣的信息。如何在日益严苛的需求下实现海量新闻文本的管理和分类是文本任务中一组具有现实意义的课题。基于机器学习的分类算法早已不能满足当前新闻文本分类任务的实际需求,因而更多学者关注基于深度学习的相关模型。深度学习中的胶囊网络比传统神经网络具有更强的特征学习能力,但其现有的研究方法还存在一些不足,如无法选择性地关注文本中的重点单词以及缺乏对远距离依赖能力的编码,很大程度上影响最终的分类效果。针对以上问题,本文主要从优化胶囊网络特征提取角度出发进行研究,主要研究工作如下:(1)针对胶囊网络无法选择性地关注新闻文本中的重点单词以及缺乏对远距离依赖关系有效编码的问题,设计了基于多头注意力和并行胶囊网络的新闻文本分类模型(MA-Caps Nets)。该模型通过多头注意力机制编码新闻文本中单词间的依存关系和重要单词,然后采用并行的胶囊网络结构从不同层次捕获文本特征信息,用以进行文本分类。实验结果表明,MA-Caps Nets在新闻文本分类任务中取得了更好的效果,消融实验证明了多头注意力模块和并行胶囊网络结构的互补作用。(2)为了进一步加强模型对文本的特征提取,设计了基于Bi GRU和多头注意力胶囊网络的新闻文本分类模型(Bi GRU-MA-Caps Nets)。在该模型的构建与训练中,通过融合Bi GRU和多头注意力机制,不仅有效捕获文本序列中的全局特征,还能获取单词对于文本的重要程度,以获取更丰富的文本语义信息,后在胶囊网络中引入静态路由机制优化胶囊网络运算过程,采用并行的结构从不同层次捕获文本特征信息,用以进行文本分类。实验结果表明,Bi GRU-MA-Caps Nets的各项指标更高,验证了模型在新闻文本分类任务上的优越性。综上,为了验证以上提出的两个模型在新闻文本分类任务上的有效性,本文对其进行了定量比较和消融实验,在两个新闻文本数据集上进行实验。实验表明,以上两种模型在数据集上都有一定的提高。

基于企业互联网营销平台的用户情绪监测模型构建与应用

这是一篇关于多源异构,情绪监测,多模态融合,多头注意力,智能推荐的论文, 主要内容为随着互联网技术的不断发展和普及,“互联网+”创新模式已成为传统企业进行数字化转型和产业升级的必然趋势。在此背景下,浙江省某大型企业利用大数据、人工智能和云计算等先进技术搭建了“互联网+营销”的智能信息一体化平台。该平台整合了多平台媒体矩阵,拥有大量用户对企业营销活动所发表的观点和评价,以及直播营销活动中产生的时序性弹幕数据。如何处理并利用这些多源异构数据捕获用户需求和感知市场变化,从而更加精准化,智能化地进行业务决策和创新,实现营销效果最大化是企业重点关注的问题。为此本文在该互联网营销平台TB级用户评论数据支撑下,提出了基于改进有用性主题和谱聚类融合的代表性评论提取算法、融合多特征的弹幕数据情绪监测网络模型、融合主题特征的多模态决策多样性情绪监测模型和基于用户情绪与知识图谱的个性化推荐算法,实现从有用性主题提取到情感分类再到个性化推荐整个智能推荐过程。最后结合该互联网营销平台构建了基于时序性用户情绪监测图、“区域-用户”情绪监测图和“主题-用户”情绪监测图的智能化推荐模块,为企业智能化精准营销提供支持。本文主要从直播营销场景和多平台媒体营销场景进行研究,具体内容总结如下:(1)针对多源异构数据冗余度高和传统主题特征提取未考虑文本内容有用性等问题,提出了一种基于改进有用性主题和谱聚类融合的代表性评论提取算法。首先,在传统LDA模型基础上,将点赞、转发、收藏、受评数等作为文本内容的有用性权重改变其词-主题分布统计方式,并给出了相应推导公式,证明了该有用性权重能将有用性词-主题凸显出来。然后,利用改进模型抽取出有用性信息的主题分布,再利用皮尔森系数构建相似矩阵,最后,用谱聚类实现有用性评论聚类,进一步降低冗余,并提取簇中心附近评论作为代表性评论。以该互联网营销平台数据为对象进行验证,结果表明,该模型相较于其他模型能很好解决数据冗余问题且评论主题更具有代表性。(2)针对直播营销场景中忽略弹幕数据的时序性、多义性和稀疏性从而导致情感特征提取不准确不充分问题,提出了一种融合多特征的弹幕数据情绪监测模型。首先,针对弹幕数据多义性问题,构建了“Emoticon-Word”词典(多义性表情符号词典)以及相关弹幕语料库;然后,针对弹幕数据稀疏性问题,将弹幕数据基本属性(文字颜色、字体、点赞数等)与文本拼接输入ALBERT中作特征提取,同时,与辅助模块Glo Ve模型预训练的表情符号经过自注意力模块融合。其次,为加强弹幕属性的时序性,用Bi GRU模块从前向和后向捕获信息,加强语义依赖。最后用Softmax逻辑回归进行情感倾向性分类,构建情绪监测图。以某互联网营销平台163253条弹幕数据为对象对模型进行性能验证,结果表明,该模型准确率达88.8%,精确率达88.7%,召回率达88.9%,1F值达88.8%,相较于其他模型均有一定提升。该模型可为企业在营销活动中实现用户情绪监测以及智能化精准营销提供支持。(3)针对整合多平台媒体场景中特征稀疏,多模态融合效果不佳,多模态情感特征提取不充分问题,提出了一种融合主题特征的多模态决策多样性情绪监测模型。首先,采用预训练ALBERT模型提取文本词向量特征表示,采用预训练后的Res Net-18提取图像特征表示。然后,为避免文本特征过于稀疏,将提取的词向量特征与Help-LDA提取的主题特征进行多阶段融合。其次,采用多头注意力捕获图文相关性,将融合后的联合特征与已提取的图像特征进行再次融合。同时,为体现各自模态特征,采用决策融合将联合特征和各模态独立特征进行整合,其中,添加余弦相似性惩罚,提高模型泛化能力。最后用Softmax逻辑回归进行情感倾向性分类,构建“区域-用户”情绪监测图以及“主题-用户”情绪监测图。以某互联网营销平台图文数据为对象对模型进行性能验证,结果表明,该模型的图文情感识别效果相较于其他模型均有一定提升。(4)针对现有推荐算法未考虑用户情绪指标从而导致营销活动中产品推荐不准确问题,提出了一种融合用户情绪与知识图谱的个性化推荐算法。首先,基于企业数据库构建企业产品知识图谱和用户画像。然后,抽取出企业产品的实体属性特征和用户需求特征,分别用余弦相似系数构建相关相似度矩阵,并采用加权几何平均得到需求匹配相似度矩阵。其次,考虑不同时间和区域内用户的情绪波动,将时序性用户情绪、主题用户情绪、区域用户情绪等多种情绪指标进行加权求和平均,构建情绪度量矩阵。结合情绪度量矩阵与匹配相似度矩阵构建目标函数,计算可推荐性服务得分列表。在推荐过程中,根据用户情绪指标和推荐结果的匹配程度,为用户呈现最符合需求的产品和活动,并提供详细的信息和推荐理由。最后,结合该互联网营销平台构建了融合用户情绪监测的智能推荐模块,将本文所提出的算法模型进行应用,并给出了相应模块设计流程以及对各模块进行可视化展示。

基于信息抽取的知识图谱构建系统的设计与实现

这是一篇关于知识图谱,信息抽取,权重指针网络,多头注意力的论文, 主要内容为随着互联网技术的深入发展,日常生活中产生的数据总量迅速增多,人们对于信息获取的速度和搜索的效率开始有了更高的要求。但是原有的知识语义网无法清晰地表示出节点之间的关系,难以快速地找到目标内容。谷歌在2012年提出了知识图谱这种信息表示模型,将信息中的主实体、客实体映射为图谱里的节点,将关系映射为边。这样既能适应于不同领域,又能帮助人们快速的找出关联信息,所以构建知识图谱对于知识的传播有着积极的推动作用。对于知识图谱的构建而言,三元组的抽取是最核心的环节,因此本文在调研现有三元组抽取和知识图谱构建系统的基础上,提出了三元组自动抽取的模型和构建系统的设计方案,论文的主要贡献为:1.在实体关系三元组抽取中,提出了基于权重指针网络的抽取模型,在卷积网络的基础上采用不同尺度的空洞卷积核结构,通过权重指针网络对重复出现的实体进行筛选,从整体的角度对于多组不同长度的实体进行标注。在SKE和CHIP数据集上进行模型的检验,结果表明该模型比当前主流的BI-LSTM+Attention模型提升了 1.8%左右。2.在事件主体三元组抽取中,提出了基于多头注意力机制的抽取模型,在Bi-LSTM网络中融入了多头注意力机制,获取词语的不同语义信息,通过嵌入触发词特征来定位事件中心短语。将本文的方法在CCKS和iFLYTEK数据集中进行验证,结果表明本文的模型给予了核心实体更多的关注,比起CNN+CRF的主流结构提升了 1.5%左右。3.提出了知识图谱构建系统的整体架构,设计并实现了文本上传、三元组抽取、知识图谱生成和知识图谱管理等全方位的解决方案,使用了 Flask作为后端框架,以Neo4j和MySQL作为数据库管理系统。经过系统测试后证明系统中的服务具备较高的可行性和稳定性,可以面向多种行业和不同知识水平的用户群体。