基于多任务学习的序列标注式因果关系抽取
这是一篇关于因果关系抽取,多任务学习,稀疏共享,序列标注的论文, 主要内容为因果关系抽取任务是自然语言处理领域中的重要研究任务之一,它在知识图谱、问答系统以及事件预测等多个方向中发挥着至关重要的作用。现有的研究方法大部分是基于单任务学习,忽略了因果关系抽取任务与其它任务之间的联系。此外,语料库中含有一对多、多对多等复杂的因果关系,且非因果关系实体对(负实例)的数量通常远远超过因果关系实体对(正实例)的数量。面对文本中复杂的因果关系与因果数据稀缺的问题,这些研究方法通常不能达到很好的抽取效果。针对以上问题,本文引入多任务学习框架的参数共享机制,通过任务间的参数共享,使因果关系抽取任务充分捕捉辅助任务中隐藏的语义信息,解决不平衡语料库中因果关系抽取效果差的问题。通过“BIO”序列标注方法,将因果关系抽取任务转换成序列标注任务,解决语料库中复杂因果关系抽取不充分的问题。本文的主要研究工作如下:1.将口语理解系统中槽填充和意图识别的交互式Transformer框架引入到自然语言处理领域中,提出了基于多任务学习的因果强度分类和因果关系抽取模型(CIT-CSCR模型)。引入标签注意力机制获取两个任务的显式特征表示,通过多任务学习框架建立两个任务之间的双向连接,探究多任务学习对因果关系抽取任务的影响。实验结果表明:本文提出的方法在因果强度分类任务和因果关系抽取任务中,通过注意力机制间的交互作用,使因果关系抽取任务获得了丰富的语义信息,与单任务学习方法相比,在性能方面得到了显著的提高。2.为了进一步提高因果关系抽取的性能,结合BERT预训练语言模型和多任务学习框架,提出了基于BERT和稀疏共享机制的序列标注式因果关系抽取模型(MTLSS+BERT+BiLSTM+CRF模型)。首先,采用“BIO”序列标注方法来标注样本数据,将因果关系抽取任务转化为序列标注任务。然后,选取词性标注(POS)和组块分析(Chunk)作为因果关系抽取任务的辅助任务,并选取稀疏共享架构作为多任务学习框架。最后,引入BERT预训练模型从上下文中获取充分的因果语义信息,通过参数剪枝技术减少模型的冗余参数,并将该模型和基准模型在SemEval2010-Task8和自建的MTL-CE数据集上进行了大量实验。实验结果表明:与传统的单任务抽取方法相比,通过稀疏共享机制减少了模型的参数,促进了任务之间的交互,提升了因果关系抽取任务的性能,其F1值达到了最高。本文提出的多任务学习模型在因果关系抽取任务中达到了预期的效果,提高了复杂因果关系抽取的准确率,一定程度上缓解了不平衡语料库的因果关系抽取问题,本文工作为后续因果关系抽取任务的研究提供了一种新思路。
面向领域知识图谱构建的知识抽取的研究和实现
这是一篇关于知识抽取,知识图谱,命名实体识别,实体关系抽取,多任务学习,多示例学习的论文, 主要内容为随着电网设备故障资料的电子化,与电网设备故障相关的文本数据资源迅速增长。为利用其中的知识,本文拟将电网设备故障领域文本蕴含的知识结构化,构建电网设备故障领域知识图谱。知识抽取是知识图谱的主要构建方法,是从非结构化的文本中提取结构化知识三元组的过程。其中命名实体识别和关系抽取是主要任务。但目前现有命名实体识别模型缺乏对领域的针对性,且大多采用合并预测实体位置和类别的任务构建模式,造成误差积累。在关系抽取任务中,有监督学习模型的训练依赖人工标注数据,但由于领域实体关系标注的专业性,人工成本较高,无法满足需求。针对以上问题,对于命名实体识别任务,本文提出一种基于多任务学习的实体边界感知模型,在任务构建、领域实体信息上利用进行创新。该模型基于多头注意力机制的Transformer,将传统命名实体识别任务分解为实体边界感知任务和实体分类任务,开展多任务学习,减少任务之间的误差积累。本文模型还使用基于领域实体类别综合描述的相似度计算辅助实体分类,实现对领域实体的针对性。并在公开数据集和领域数据集上进行了实验,证明了模型的先进性。对于关系抽取任务,本文提出一种基于多类关系注意力机制的关系抽取模型,以远程监督多示例学习的思想为出发点,减少模型对人工标注的依赖。为提高模型对领域实体关系的针对性,本文引入领域关系特征,并在公开数据集和领域数据集上进行实验,验证了模型的效果。为搭建知识图谱,本文首先对领域实体进行抽取,完善领域词典。之后利用通用知识库和电网标准进行知识对齐,构建领域实体关系数据集,进行关系抽取得到知识集合。最后对结果进行知识融合,实现电网设备故障领域知识图谱的构建、存储和可视化。本文比较了电网设备故障领域知识图谱和通用知识图谱的查询结果,证实该知识图谱在专业性、详细性和领域针对性等方面具有明显的优势。
细粒度实体分类与短文本实体链接研究
这是一篇关于细粒度实体分类,BERT,联合向量,短文本实体链接,多任务学习,信息不充分的论文, 主要内容为互联网中的文本数据在当前的大数据时代呈现爆炸式增长,如何从海量的互联网文本中准确地找出对人们有价值的信息成为当前的热点研究问题。知识图谱的产生为海量互联网数据的充分利用提供了可能。细粒度实体分类是信息抽取任务中的关键环节,能够为实体链接和知识图谱的下游应用提供辅助作用;实体链接是知识图谱构建和应用过程中的关键技术。论文主要研究内容为细粒度实体分类和短文本实体链接,研究成果如下:(1)提出一种基于BERT的细粒度实体分类方法。首先将样本输入BERT层进行特征提取,然后取BERT输出的[CLS]位置对应的向量作为输入文本的句子向量;根据实体指称在输入文本中的开始和结束位置取BERT输出中对应位置的向量,将其拼接作为实体指称特征向量。将实体指称特征向量和句子向量拼接组成联合向量,将联合特征向量输入分类层对实体指称进行分类。实验结果表明,本章提出的细粒度实体分类方法能够有效解决中文细粒度实体分类问题。(2)提出一种基于多任务学习的短文本实体链接方法,将多任务学习方法引入短文本实体链接过程中。构建多任务学习模型,将短文本实体链接作为主任务,引入实体分类作为辅助任务,辅助任务能够缓解短文本实体链接过程中信息不充分的问题,促使模型学习到更加通用的底层表达,从而提高模型的泛化能力,优化模型在短文本实体链接任务中的表现。在CCKS2020(全国知识图谱与语义计算大会)任务二数据集上的实验表明,该方法取得了较好的实体链接效果,可以有效解决短文本实体链接过程中的信息不充分问题。
基于神经架构搜索的人脸美感预测
这是一篇关于人脸美感预测,神经架构搜索,多任务学习,注意力机制的论文, 主要内容为人脸美感预测(Facial Beauty Prediction,FBP)在计算机视觉领域中是一个非常有趣且富有挑战性的任务,其模拟人类对于容貌图像的感知,捕捉图像中人脸的眼睛、鼻子、皮肤等各项特征,进而量化容貌图像的美感。虽然容颜不代表一切,但拥有一张美丽的脸庞是大多数人内心之中的渴求。容颜的重要性不仅仅体现在个人层面上,在企业层面上,它也能够产生商业价值。因此,研究人脸美感预测具有十分重要的意义。传统的人脸美感预测方法十分依赖于手工制造的特征或人为设计的规则,然而这些特征或规则缺乏深度和精准性。相比之下,基于深度学习的方法能够自动提取和挖掘图片中一些人类难以描述、难以量化的高级语义特征,更适合应用于人脸图像的美感分析。因此,深度学习方法逐步成为人脸美感预测的主流策略。大多数深度学习方法基于一些经典卷积神经网络来改进,但在人脸美感预测这一特定场景中,经典网络并不一定是最优的选择。鉴于重新设计一个高效网络充满挑战,本文基于神经网络架构搜索提出了NAS4FBP框架,该框架采用了多任务学习方案,不仅关注人脸美感的分数和层级,还关注性别和种族来筛选出一个高效的FBP网络。在多任务学习方案中,本文提出一种新的分类损失函数(HBLoss),用来更好地揭示美感层级关系的本质。不仅如此,本文还提出一种简单有效的数据增广方法(Align-Crop),用以丰富训练数据的多样性。在搜索网络架构之后,本文进一步提出了一种非局部卷积注意力模块(NCAM),该模块能够同时关注局部与全局特征信息,进一步提升模型拟合能力。本文使用SCUT-FBP5500基准数据集来展开网络架构的搜索,最终得到一个适用于人脸美感预测的高效网络架构——NAS4FBP Net。文中大量实验表明,NAS4FBP Net具有非常优秀的性能,经过优化后的相关性系数指标可达0.9387,超越其他所有相关研究中的模型表现。
面向人群流量预测的城市信息单元画像建模
这是一篇关于城市信息单元画像,人群流量预测,注意力机制,多任务学习的论文, 主要内容为近年来,随着信息技术和互联网的飞速发展,现代城市已经进入了万物互联、全面感知的大数据时代,市民生活和各行各业产生的数据呈爆发式增长,如何利用城市中积累的大量数据来分析城市运行和发展中存在的问题,为政府部门提供信息化决策支持,已经成为学术和工业界共同关注的问题。人群流量预测是智慧城市中应急指挥的重要内容,对于城市交通管控和公共安全具有重要意义,但人群流量变化受到城市时间、空间、天气、假日等复杂因素影响,建模较为复杂。结合城市的基础政务数据和社会传感数据,进行城市画像建模可以精准的刻画事物的发展趋势,然而现有的城市画像建模大多是使用自然语言处理的方法进行城市标签抽取,没有利用城市大量积累的社会传感数据。因此,本文开展了基于城市画像建模来预测人群流量变化趋势的研究,提出了基于多任务的多层级城市信息单元画像建模的人群流量预测模型,主要的研究内容和贡献如下:(1)现有城市画像建模方法未充分利用动态、实时的社会传感数据,本文提出了城市信息单元的概念,并基于时空特征提取,对城市信息单元画像进行建模,利用长短期记忆网络从社会传感数据时间序列中挖掘时间相关性,构建了城市不同位置之间的空间流动图,利用图嵌入算法从空间流动图中挖掘空间相关性,同时加入天气、温度、节假日等外部环境特征,然后使用时间注意力机制自适应地赋予不同的权重,最终捕获多种特征来构建城市信息单元画像。(2)现有的城市画像仅从城市整体角度建模,没有考虑城市的层次化特征及不同层次之间的关联性。考虑到人群流动变化在多层级城市信息单元之间的互相影响,因此本文进一步将城市信息单元画像进行了层次化建模,提出了基于多任务的多层级城市信息单元画像建模方法MMUP,将不同层级的信息单元画像建模作为多个任务,多个任务的损失加权求和作为该方法的损失函数,充分挖掘了城市多层级信息单元之间的隐含关联。(3)本文提出了基于多任务多层级城市信息单元画像建模的人群流量预测模型,通过多层感知机转换维度得到人群流量预测结果。在北京市重点区域人群流量数据集上与对比算法进行了充分的实验。对比实验和消融实验结果表明本文提出的模型在人群流量预测方面的优越性,以及模型结构的有效性。(4)最后,本文利用百度地图API、Apache ECharts、Bootstrap可视化技术,结合Spring Boot框架设计并实现了一个人群流量预测可视化系统。该系统将本文提出的模型作为后台引擎,并以热力图、折线图的方式对人群流量预测结果进行可视化展示。
基于深度神经网络的单通道语音增强方法研究
这是一篇关于语音增强,相位感知,多任务学习,动态声学补偿,自适应焦点训练的论文, 主要内容为语音增强(Speech enhancement,SE),是目前智能语音领域的研究热点之一,其是实时通信,智能家居,可穿戴医疗设备等应用领域中的关键性技术。随着深度学习技术的创新和发展,基于深度神经网络的语音增强技术由于其卓越的性能,逐渐取代传统的基于信号处理的语音增强技术,成为该领域研究者们的研究重点,同时被广泛地应用。虽然语音增强技术近年来有了重大的进展与明显的进步,然而以下问题仍在很大程度上限制了语音增强系统的性能和其在现实场景中的应用:(1)在实时通信等许多应用任务中,对语音增强系统的实时性有很高的要求,这使得系统的参数量和延迟有了很严苛的限制,如何兼顾实时性和语音增强性能,设计出一个低延迟,高性能的语音增强系统是目前的挑战之一;(2)过度抑制是语音增强领域常见的现象,这会给语音带来不可逆的失真,严重的过度抑制会使得语音的可懂度下降,这显然与语音增强的初衷相悖,如何改善过度抑制现象也是目前语音增强领域的热点之一;(3)无论是传统的语音增强方法还是基于深度神经网络的语音增强技术,都无法准确地去除信号中可能包含的干扰说话人语音,这限制了语音增强系统在现实生活场景中的应用。如何做到只保留目标说话人语音,去除干扰说话人语音和噪声,实现个性化的语音增强(Personalized speech enhancement,PSE)近年来逐渐受到了关注。然而关于该任务的研究目前仍相对较少,其中存在的问题与挑战也仍待发现与解决。本论文针对以上语音增强领域中的难点,进行深入研究,主要包括以下创新点:(1)针对单通道实时语音增强任务,复现Percep Net基线系统,并从模型和声学特征入手,提出一种相位感知的结构,在不影响系统实时性的前提下,提升语音增强性能。(2)基于Percep Net系统,通过提出一种新的多任务学习策略和基于信噪比估计的后处理技术,改善单通道实时语音增强任务中的过度抑制问题。(3)针对个性化语音增强任务,以s DPCCN为基线系统,提出一种动态声学补偿方法来改善测试语音和注册语音声学环境不匹配的问题,并通过自适应焦点训练机制提升困难样本性能,提高了系统性能与鲁棒性。本文使用多个已开源数据集进行实验,其中选用Mc Gill TSP speech database,NTT Multi-Lingual Speech Database for Telephonometry和VCTK数据集验证所提出的相位感知结构,多任务学习策略以及基于信噪比的后处理技术的有效性;选用4th Deep Noise Suppression(DNS)Challenge track2数据集验证动态声学补偿方法和自适应焦点训练机制在单通道个性化语音增强任务中改善声学环境不匹配和困难样本问题的有效性。实验结果表明,与基线系统相比,本文所提出的创新点均可较大程度地提升系统性能与系统鲁棒性,为未来单通道实时语音增强技术以及单通道个性化语音增强技术的发展与落地提供了重要参考。
候选区域感知的嵌套命名实体识别方法研究
这是一篇关于深度学习,命名实体识别,序列标注,多任务学习的论文, 主要内容为命名实体识别(Named entity recognition,NER)任务旨在从非结构化的文本数据中定位并分类出预定义的实体类型(如人名、地名和组织机构名称等)。命名实体识别是自然语言处理中的一项基础任务,许多下游任务依赖于其结果,如知识图谱构建、实体关系抽取、实体链接以及问答系统等。由于自然语言表达的多样性,现实语料中经常会出现实体嵌套的场景。然而,大部分现有的命名实体识别相关研究工作均忽略了该场景,从而无法充分挖掘文本中的实体信息,进而影响下游任务的性能表现。本研究针对命名实体识别任务中的实体嵌套问题提出了候选区域感知的嵌套命名实体识别模型(Candidate region aware model,CRAM)。为了减轻现有工作中存在的类别不平衡问题和提高模型效率,本文提出的方法将嵌套命名实体识别任务分解为两个子任务:实体词序列标注任务和候选区域分类任务。对应两个子任务,本研究分别设计了两个模块,实体词序列标注模块标注输入文本中每个词是否为实体词,以过滤掉部分与实体类别不相关的文本区域。候选区域分类模块则根据实体词序列标注模块的结果选出更可能为实体的候选区域,并将各个候选区域分类到对应的实体类别或分类为非实体类别。考虑到两个模块之间的依赖和联系,本研究应用多任务学习的方法将两个模块进行联合训练,两个模块共享部分参数,从而能在一定程度上捕捉模块之间的依赖和联系信息,有助于提升模型的整体性能。为了验证本文提出的模型的有效性,本研究在公开数据集上进行了详细的实验验证和分析。实验结果表明本文提出的CRAM模型能有效减轻现有工作中存在的类别不平衡问题,从而取得更好的性能表现。同时,在相同的实验环境下,本文提出的CRAM模型相对其他基于神经网络的嵌套命名实体识别模型所需要的训练时间更短。
基于知识图谱的序列化推荐技术研究
这是一篇关于推荐算法,序列化推荐,知识图谱,多任务学习的论文, 主要内容为随着信息技术的飞速发展,海量的信息通过互联网呈现在我们眼前,信息过载问题越发严重,推荐算法作为“信息过载”下用户高效获取感兴趣信息的有效途径,已经成为目前研究的热点。推荐算法的核心是在用户兴趣点与海量互联网信息之间建立起桥梁,具体过程可被抽象表示为由用户塔和物品塔组成的双塔架构:其在用户塔侧根据用户历史交互信息得到用户兴趣表示,在物品塔侧根据物品辅助信息得到物品表示,最后根据二者的相关性来预测用户对物品的感兴趣程度以确定是否进行推荐。目前基于双塔架构思想的推荐算法已经获得了巨大成功,但仍存在以下三方面亟待解决的主要问题:(1)对于用户塔侧的“用户-物品”历史交互信息,现有模型难以准确建模较长用户历史以及历史序列中的时序特征。(2)对于物品塔侧的辅助信息,现有模型易忽略辅助信息间的关联性,同时难以避免多元辅助信息融合进物品表示时带来的信息损失。(3)双塔架构通常会对双塔信息进行交叉以进一步提升模型效果,对于信息交叉,现有模型难以挖掘双塔的相关性,同时交叉参数过多易造成信息间的负迁移。为解决以上三方面问题,本文主要工作内容如下:(1)针对问题1,本文提出基于时间注意力机制的序列化推荐模型,通过设计时间编码函数建模时序特征,并设计结合方式将时序特征引入注意力机制,从时间角度准确建模长序列中复杂依赖关系。(2)针对问题2,本文提出多粒度融合异构信息的知识图谱表示学习模型,通过知识图谱表示学习挖掘辅助信息间的关联性;并基于图神经网络和场感知分解机设计多粒度聚合模块从不同粒度聚合物品辅助信息,避免信息损失。(3)针对问题3,本文提出多任务学习框架建模上述序列化推荐模型和知识图谱表示学习模型,构建基于知识图谱的序列化推荐模型。通过先设计一种结合注意力机制的非侵入式参数共享机制挖掘双塔间(即两个模型参数间)的相关性并避免信息间负迁移,然后采用交替学习方法完成信息交互。最终通过实验验证了本文模型能有效提升推荐效果。(4)设计实现了基于知识图谱序列化推荐模型的个性化推荐系统,进行了电影、电商场景的推荐测试,验证了本文工作的有效性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://m.bishedaima.com/lunwen/46199.html
