5篇关于条件随机场的计算机毕业论文

今天分享的是关于条件随机场的5篇计算机毕业论文范文, 如果你的论文涉及到条件随机场等主题,本文能够帮助到你

基于局部对抗迁移训练的中文命名实体识别研究

这是一篇关于中文嵌套命名实体识别,对抗训练,迁移学习,BiLSTM,机器阅读理解,条件随机场的论文, 主要内容为命名实体识别的目的是识别文本中的人名、地名、组织名等专有名词或具有意义的特定实体,是知识图谱、生成文本、文本提取等下游任务的基础。为了提高中文命名实体识别模型的泛化能力,通常需要花费大量的人力物力来标注海量的数据。而利用迁移学习技术在不同领域间传递信息,可以帮助模型学习目标领域的语言规则,降低了模型对标注数据的依赖。当前的中文命名实体识别模型在平面实体识别上有很好的表现,但由于中文的字词语义构成复杂,存在实体嵌套、字词边界模糊等问题,在中文嵌套命名实体识别研究上依然存在技术上的难题。本文在中文命名实体识别任务下,通过将迁移学习与对抗训练结合,利用已经学习到的语言规则对当前任务进行特征补充,对预训练语言模型进行微调以提高模型稳定性;在此基础上,添加机器阅读理解技术,提高对上下文信息的利用,进而提高中文嵌套命名实体识别的效果,研究内容主要包括以下两点:1、融合局部对抗训练与迁移学习的命名实体识别研究针对命名实体识别研究中需要大量标注数据且模型泛化能力不强的问题,本文提出了一种结合迁移学习和局部对抗训练的命名实体识别模型。以ALBERT预训练语言模型为基础,在ALBERT嵌入层添加扰动因子构成局部对抗训练,产生的对抗样本可以提高模型鲁棒性,再将得到的输出矩阵通过Bi LSTM特征提取,并结合注意力机制进行特征加权和标签约束。通过实验结果对比,本文模型的准确率均优于对比模型,证明该方法可以有效提升命名实体识别模型的性能。2、基于机器阅读理解下的中文嵌套命名实体识别研究针对中文嵌套命名实体识别中的问题,本文提出了一种结合机器阅读理解技术和局部对抗迁移训练的命名实体识别模型。利用机器阅读理解技术,将实体识别任务转化为知识问答任务,构建三元组来解决实体间相互嵌套的问题,然后将三元组信息经ALBERT预训练层得到输出矩阵,由Bi LSTM-Attention过滤提取的特征,最后用二分类机制判断答案的起始和终止位置标签进而预测实体答案。通过实验结果对比,本文模型比未添加机器阅读理解方法的模型的准确率有所提升,证明机器阅读理解技术有助于解决中文嵌套实体问题。图[20]表[13]参[69]

基于多特征融合和预训练BiLSTM＿CRF模型的中文命名实体识别研究

这是一篇关于命名实体识别,BERT预训练模型,长短时记忆神经网络,条件随机场,迁移学习的论文, 主要内容为命名实体识别(NER,Named Entity Recognition)致力于研究从海量非结构化文本高效提取结构化信息(有意义的名词)的一项自然语言处理(NLP,Natural Language Processing)领域的子任务。作为知识图谱、问答系统和机器阅读理解等高层NLP任务的基石,NER的准确率会直接影响下游任务的表现。由于中文结构相比英文更加复杂,且中文实体识别研究起步较晚,中文NER研究具备一定挑战。本文针对以下两个问题分别提出对应解决方案:一是对大多数专业领域,由于数据集规模小、质量低,命名实体识别效果不佳;二是传统NER方法中字向量的特征表征能力较弱,实体识别效果较差。对第一个问题,本文以医疗领域作为切入点,利用自行标注的糖尿病数据集,通过引入BERT预训练模型弥补语料库规模不足的问题。针对第二个问题,本文在模型的字嵌入阶段融入多个重要特征以增强字向量的表征能力。本文研究内容主要包括以下两部分。1.提出基于部首结构特征和拼音特征的BiLSTM-CRF模型。本文利用BiLSTM模型提取汉字部首的结构特征向量和汉字的拼音特征向量,通过将字向量与提取的特征向量横向拼接来实现特征增强。特征增强后的字向量既有效地融入字形和拼音两方面信息,又尽可能避免给模型引入冗余信息,为BiLSTM-CRF模型提供高质量的字向量。2.模型在基于部首结构特征和拼音特征的BiLSTM-CRF模型的网络结构基础上,引入BERT预训练模型,利用BERT模型提取字向量。BERT模型基于大规模通用语料训练得到,其输出的字向量不仅解决长句子依赖问题,还将目标任务需要的文本知识转移其中,为下游任务提供语义丰富的字向量。本文实证部分使用两个数据集:一是在自行标注的糖尿病数据集证实了基于部首结构和拼音特征的BiLSTM-CRF模型相比未融入特征的BiLSTM-CRF模型效果所有提升;二是利用NER领域公开的CCKS-2017数据集,将本文提出的融部首结构特征和拼音特征的BERT-BiLSTM-CRF模型和其它三种优秀模型做横向对比,实验结果表明本文提出的模型在召回率和F1值两个指标上均有提升。

基于神经网络的命名实体识别研究

这是一篇关于命名实体识别,门限循环单元,卷积神经网络,自注意力机制,条件随机场的论文, 主要内容为命名实体识别的主要任务是从文本中识别人名、地名以及机构名等有意义的实体,是自然语言处理基础任务之一。命名实体识别在知识图谱构建、信息检索等众多领域扮演着重要角色。然而传统命名实体识别方法依赖于人工构建的特征模板,需要耗费大量的人力物力,且在处理大规模文本数据时存在局限和不足。利用深度学习进行命名实体识别可以减少特征提取的工作量,同时解决数据稀疏性问题。为构建东盟十国多语言知识图谱,首要任务是对多语言语料进行命名实体识别。因此,本文提出了基于神经网络的命名实体识别方法,具体研究内容如下:(1)提出一种基于BiGRU-CRF的中文命名实体识别模型。该模型首先使用word2vec将中文字符转化为低维稠密向量,其次利用BiGRU网络提取向量的语义特征,最后通过CRF层预测并输出最优标签序列。为了进一步提高识别效果,在BiGRU和CRF层之间添加两层隐藏层。在数据预处理方面,提出一种数据集划分算法,并对文本进行更加科学合理的划分。在东盟十国数据集上将该模型与几种混合模型进行对比,实验结果显示该模型在命名实体识别任务中拥有更好的识别性能。(2)在处理跨语言命名实体识别任务时经常会出现语序混乱问题,BiGRU-CRF模型已无法满足实际需求,因此将Self-Attention机制和CNN与BiGRU-CRF模型相结合,构建一种基于Self-Attention-BiGRU-CNN-CRF的跨语言命名实体识别模型。首先利用GAN训练跨语言词向量,其次通过CNN和BiGRU获取向量的语义特征,最后通过CRF层预测并输出最优标签序列。在BiGRU中添加Self-Attention机制可以减轻不同语言转换时出现的语序混乱问题,突出关键词对实体标注的影响,从而提高了模型的命名实体识别性能。在ConLL2002和2003通用数据集上将该模型与其他模型进行对比,实验结果表明,该模型在西班牙语、荷兰语、德语的跨语言命名实体识别任务中任务中F1值在各模型中表现最优,分别为72.73%,71.56%,58.03%。

基于深度学习的医疗命名实体识别

这是一篇关于命名实体识别,语义分割,注意力机制,条件随机场的论文, 主要内容为深度学习与医疗领域的结合是其中一个热门的方向。人们试图从大量的医疗文本数据挖掘出有价值的信息。例如,通过医疗相关的文本构造知识图谱,从而对医疗领域的知识进行可视化,也可以设计基于图谱进行推理的自动对话、自动问答系统,为患者和医生根据现有病情描述快速诊断提供辅助。而为了形成知识图谱,首先必须的完成是命名实体识别、关系抽取等前置任务。在命名实体识别中,因为分词再标注的方法存在传递分词错误的问题,所以通常基于字粒度的模型的表现优于基于词粒度的模型。在通用领域中,通过引入词典信息增强可以提高模型性能,但目前的结合词典增强的模型难以批量化计算,训练与推理效率较低。而在中文的医疗命名实体识别中,存在大量专业语义词汇。这使得基于词典的模型在任务中的性能提升不如在通用数据集上明显。图像语义分割与命名实体识别任务均可被看做是序列标注任务。语义分割任务下有基于深度学习的较为经典的解决方案,可以被命名实体识别任务所借鉴。同时,基于深度学习的绝大多数方法,普遍在模型的最后一层使用条件随机场进行解码,这个算法使得模型的推理速度在长文本下表现较差。在本文中,我们所做的工作如下:(1)对比了图像语义分割与命名实体识别两个任务的相似性,提出借鉴图像语义分割的方法,尝试将语义分割的经典模型FCN经过修改后应用于命名实体识别任务。该模型仅由多层卷积层与转置卷积层构成,可以同时结合高维与低维的N-gram语汇信息,在无需使用词典信息的情况下,达到了一定水平的精度指标,同时实现了较快的计算速度,拥有和业界常用的基准模型相比有竞争力的性能表现。(2)对替代CRF层的可行性进行实验。将前人提出的基于标签的注意力机制作为解码层,进行改进,增加自注意力计算,使注意力机制计算时可以结合全局信息,从而提高性能表现。使用改进的LAN大幅度提高了解码层的推理速度,同时得到了与使用条件随机场解码相近的性能。