分享11篇关于XLNet的计算机专业论文

今天分享的是关于XLNet的11篇计算机毕业论文范文, 如果你的论文涉及到XLNet等主题,本文能够帮助到你

基于预训练模型的新疆地方药命名实体识别研究

这是一篇关于命名实体识别,BiLSTM,预训练模型,XLNet,BERT的论文, 主要内容为作为自然语言处理研究中重要的支撑任务,命名实体识别(Named Entity Recognition,NER)技术在文本分类、推荐系统、信息检索等自然语言处理任务中得到普遍运用。其准确性直接决定了下游任务的效果。新疆地方药命名实体识别指从海量的网络文本中识别出与新疆地方药相关的医疗命名实体,是智能医疗、医疗知识挖掘、医疗临床决策支持系统等高层应用的前提工作,在理论和实际应用中均具有很高的研究价值。由于国内医疗命名实体识别技术大多基于传统深度学习方法,对新疆地方药相关研究尚无明确的方法,在研究工作中存在一定的局限性。因此,针对上述问题,本文以预训练模型算法的相关理论为基础,对自编码算法和自回归两种预训练方法进行研究,实现新疆地方药命名实体的准确识别。具体工作如下:(1)针对目前国内没有公开的新疆地方药语料库的问题,本文采用爬虫技术爬取相关医疗网站、微博、贴吧和知乎等社交平台的相关医疗文本,构建新疆地方药语料库,并在专家指导下对语料库进行标注,为进一步对新疆地方药文本进行研究和分析奠定基础。(2)提出一种融合自编码预训练方法的双向长短期记忆网络(Bi LSTM)的新疆地方药命名实体识别算法(BERT-Bi LSTM-CRF)。该方法通过双向Transformer结构进行预训练,采用随机屏蔽(MASK)的训练方法根据字的上下文动态生成语义向量,增强字的语义表示,然后再将字向量序列作为输入,经过双向LSTM层的训练得到记忆远距离信息的标记序列,最终CRF模块将整个标记序列的联合分布概率作为全局最优输出节点的条件概率,考虑标签之间的相互依赖关系获得全局最优的测试结果。该方法在新疆地方药命名实体识别研究中,取得了准确率95.77%,召回率89.47%,F1值92.52%的效果。(3)为了解决传统自回归模型无法同时利用上下文信息的问题,提出了基于自回归预训练模型XLNet的新疆地方药命名实体识别方法。把一个序列所有的排列都作为建模的输入,使每个位置都能利用到所有其他位置的信息,实现上下文信息整合,增强该模型对新疆地方药命名实体的识别能力。该方法在新疆地方药命名实体识别研究中,取得了准确率96.52%,召回率92.63%,F1值94.53%的效果。

基于神经网络的汉—马机器翻译优化方法研究

这是一篇关于自然语言处理,机器翻译,Transformer,XLNet,汉语-马来语的论文, 主要内容为神经机器翻译已成为主流方法,但其依赖于大量的平行语料数据来进行训练,这对于低资源语言来说是一个挑战。在汉语-马来语(汉-马)这一典型的低资源语言对中,神经机器翻译的性能并不理想。为了提高汉-马低资源机器翻译的翻译效果,本文主要从语料获取、轻量级模型设计、迁移学习、预训练模型等方面研究了汉-马机器翻译的优化方法。具体研究内容如下:(1)针对汉-马语料匮乏的问题,研发了分布式爬虫程序,用于采集低资源的汉-马平行语料,形成了18万对语料数据,并进行了预处理、数据清洗和向量化处理等,为后续机器翻译研究提供了语料数据。(2)针对Transformer模型参数过多、解码时间慢的问题,提出了基于Transformer双端注意力优化的TEAT模型,该模型分别对编码端和解码端的注意力进行优化。此外,为了进一步提升TEAT模型的翻译质量,提出了基于TEAT模型的双端对齐迁移学习优化方法,该方法采用了基于对齐词表和多轮对齐迁移的方法,将高资源语言对的汉-英翻译模型和英-马翻译模型的训练参数分别对齐迁移至汉-马翻译模型。实验结果表明,TEAT模型在保证翻译质量的情况下,有效缓解了Transformer模型参数过多和解码速度慢的问题,并且采用迁移学习的方法,相比于基线Transformer模型,该方法的BLEU分数提升了4.56。(3)针对Transformer模型在汉-马低资源机器翻译中表现欠佳,以及迁移学习成本较高的问题,提出了EXDT混合模型。该模型使用XLNet预训练模型重构Transformer编码器,提高输入序列建模能力。同时,提出AISL算法,自适应设置最佳输入句子长度,以及“渐进式解冻”优化方法,分步解冻EXDT网络中的参数,释放性能。实验结果表明,相较于基线Transformer模型,BLEU分数提升6.39。(4)基于以上研究,设计并实现了一个汉-马低资源神经机器翻译原型系统。该系统基于Vue和Flask框架构建,其中,翻译处理模块以本文提出的优化模型(加载最优模型参数)作为核心的翻译功能。最后,系统展示了各模型的翻译效果对比,并证明了本文优化模型的可行性。

基于混合神经网络的文本情感分析研究

这是一篇关于自然语言处理,情感分析,BERT,XLNet,融合情感词的论文, 主要内容为随着社交媒体的普及,人们在日常生活中越来越多地使用网络表达自己的情感和观点,这些情感信息可以帮助企业、政府或组织更好地了解和响应公众的情感需求和反馈,以及对舆情进行监测和管理。为了缓解文本情感分析任务中部分情感词关注度不高且难以捕捉句子间长距离依赖问题,本文主要从以下方面开展工作和研究:1.数据集的收集和整理。基于开源的情感分析数据集作为基础,开发并实现了一个分布式、高可用的爬虫程序,对淘宝、大众点评和外卖等平台的评论文本进行提取和优化处理,共获得了2.2万的中文情感数据集。同时,还收集整理得到了40258个包含情感极性的中文情感词典。2.提出了一种基于BERT和门控注意力优化的DBGA情感分析模型,以解决传统基于神经网络的情感分析方法难以捕捉句子间长距离依赖和部分情感词关注度不高的问题。该模型首先利用了BERT的双向表示获取更丰富的语义特征,然后结合了门控注意力进一步提取上下文的语义,还提出了一种兼容BERT结构的融合情感词的分词选择算法(BDSS)能更进一步地提升模型性能。实验结果显示,DBGA模型比基线BERT模型的准确率提高了2.07%。3.提出了基于XLNet与混合网络优化的DXMR情感分析模型。为了进一步提高模型的性能,首先利用了优于BERT的XLNet模型作向量化处理,然后利用混合神经网络(DBGA已验证有效性的门控注意力和多通道文本卷积网络)来获取更为丰富的文本特征,更进一步地提高了情感分析的准确性和泛化能力。同时,还提出一种基于XLNet的融合情感词的分词选择算法(X DSS),使网络模型更加关注情感词并提高了模型的性能。通过对比和消融实验的验证,DXMR优化模型的准确率比基线提高了3.67%,比DBGA模型还提升了1.6%,说明了其有效性和优越性。4.设计并实现了一个情感分析原型系统。为了将本文提出的方法得到实际应用,以第四章提出的DBGA优化模型和第五章提出的DXMR优化模型为情感分析技术的核心,加载最优模型并封装成接口,最后,展示了各模型的情感分析效果对比,并证明了提出模型的可行性。

基于神经网络的汉—马机器翻译优化方法研究

基于深度学习与情感分析的电影推荐系统研究与实现

这是一篇关于电影推荐,XLNet,BiLSTM,多头自注意力机制,CNN,GRU的论文, 主要内容为互联网的快速发展让网络信息爆炸式增长,这导致了极其严重的信息过载问题。而推荐系统作为主要的信息过滤技术之一,面临用户评分数据稀疏、用户评分和评论情感取向存在较大偏差、对用户和项目的深层次特征挖掘不充分等问题。因此,本文针对电影推荐,研究并实现了一种基于深度学习和评论情感分析的推荐系统。本文旨在结合用户评论、评分数据,以及电影描述信息,使用深度学习方法构建个性化电影推荐模型。首先,使用爬虫技术获取豆瓣电影的相关数据。然后,使用情感分析技术对评论数据进行极性划分,并建立基于深度学习的混合电影推荐模型。最后,完成电影推荐系统的设计与实现。具体研究内容如下:(1)阐述了课题研究的背景与意义,分析了有关情感分析和推荐算法的国内外研究现状;同时,研究了传统的协同过滤推荐算法以及目前主要的深度学习推荐技术,剖析了其各自的优势与不足。(2)在对影评进行情感分析时,针对Word2vec等静态词向量技术不能学习文本的深层信息、解决一词多义,以及RNN存在的长期依赖和上下文深层语义挖掘不充分的问题,本文提出了一种新的中文影评情感分类模型XL-MHA-Bi LSTM(XMB)。首先,使用XLNet预训练语言模型生成具有上下文依赖的词向量来对影评信息进行分布式表征;然后,将词向量输入到Bi LSTM网络中,对评论的深层语义进行分析和计算;之后,使用多头自注意力机制(Multi-head Self Attention mechanism,MHA)对评论进行多维语义特征筛查;接着,使用Sigmoid函数实现影评情感极性分类。最后,通过实验验证了本文模型的有效性。(3)针对传统的系统过滤推荐算法受到数据稀疏问题的制约,电影评论和描述信息未得到充分的利用,无法学习到用户和电影的深层次特征表述,而各种混合推荐算法又面临辅助信息表示不当等各种问题,本文提出一种新的混合推荐模型XMB-CNNGRU。首先,使用本文所提出的XMB情感分类模型进行评论情感分析,并将评论的情感分析结果和评分矩阵以及电影描述信息融合;之后,将矩阵分解得到的用户和电影隐向量输入卷积神经网络CNN中,利用CNN强大的局部特征学习能力得到用户和电影的深层特征表示;最后,将用户和电影的特征向量输入GRU网络中,预测用户对电影的评分,并通过实验验证模型的预测准确性。(4)利用本文提出的推荐模型,使用My SQL数据库和Django框架设计并实现了一个电影推荐系统。

一种面向文本分类的机器学习平台的设计与实现

这是一篇关于机器学习平台,XLNet,文本分类,Flask框架,模型定制的论文, 主要内容为随着互联网技术的高速发展,评论、新闻、舆论等文本数据也呈爆炸式增长。如何在巨大的文本数据源中准确、快速的挖掘到有价值的信息成为人们迫切的需要,这也是工业界和学术界一直关注的热点问题。机器学习和深度学习的发展为文本挖掘提供了有力的技术支持,文本分类相关算法也大量应用于各行各业。但是由于算法学习的门槛较高,非计算机相关从业人员难以直接使用相关算法工具开展自身业务的分析。本论文设计并实现的机器学习平台可以将复杂的算法调用转变为简单的图形化界面操作,用户只需上传数据集,即可定制自身领域的算法模型,进而帮助用户提升工作效率。本文研究了当下分类效果极佳的文本分类模型XLN et,并且对XLNet模型进行改进,与LSTM、GRU、CNN等深度神经网络进行融合。利用中英文数据集分别训练得到分类效果最佳的中文分类模型XLNet与英文分类模型XLNet-LSTM。以上述模型作为平台的中英文基础分类模型,本文基于B/S架构提出了一种面向文本分类的机器学习平台的设计与实现方案,结合相关图表对机器学习平台的需求分析、概要设计以及详细设计与实现进行了充分的说明。平台以Python作为主要开发语言,Flask轻量级框架作为平台的后台框架,Tensorflow作为文本分类模型的开发框架,结合前端相关技术设计并实现了模型定制、文本分类、文本检索、平台管理、个人中心等功能模块。本文设计并实现的一种面向文本分类的机器学习平台,为需要借助算法模型提升自身业务的非计算机从业人员降低了技术门槛,为提高企业、政府等机构的智能化水平提供了技术支持,对同类平台的开发及应用具有参考价值。

基于神经网络的汉—马机器翻译优化方法研究

基于医疗数据的文本挖掘研究与实现

这是一篇关于糖尿病医学知识图谱,命名实体识别,关系抽取,XLNet,Neo4j图数据库的论文, 主要内容为随着互联网信息技术的突飞猛进,临床医学相关的文本资料数量在网络上激增,医疗文献记载了大量相关研究领域的学术成果,为从事医学研究的科研人员提供了大量有价值的参考。这些医疗文献所记载的知识信息大多是半结构化和非结构化的数据格式,不利于科研人员快速查询所想学习的知识,若采用传统的人工方式去整理信息定会占用人们很多的精力;后来逐渐使用机器学习的方法进行文本挖掘,但是运用浅层模型对文本语句进行向量表示的能力有限,所以导致模型最终的挖掘效果也受到了一定的限制。因此,为了推动医学领域的文本挖掘更进一步迫切需要一种高效的文本挖掘方法。随着近年来硬件设备的升级换代,计算机的性能尤其是算力方面得到很大的改善,加上深度神经网络相关算法的不断提出,学术研究者们在语音识别、图像处理和文本挖掘等任务上运用深度学习相关的算法都取得了不错的研究进展。因此,本研究将以糖尿病为研究对象,利用文本数据挖掘技术中命名实体识别和关系抽取的方法从糖尿病医学文本数据中高效识别并抽取出医疗实体及它们之间的关系,利用图数据库对抽取出的医疗信息进行存储,同时搭建可视化查询系统,成功完成了非结构化文本数据的结构化转变。通过糖尿病知识图谱查询系统的构建可以提高科研人员或医务人员对糖尿病相关知识的查询获取,这对糖尿病的预防和诊治工作提供了巨大的帮助,也为其他领域的文本挖掘研究提供了技术参考。本文主要的研究内容有以下几点:1.提出XLNet-Bi LSTM-Attention-CRF模型对糖尿病相关医学文献进行命名实体识别。首先从文本结构和语言特点的角度对糖尿病相关医学文献进行分析,把命名实体识别任务当作序列标注任务来处理,另外根据模型训练需求构建了糖尿病医学信息语料库。其次,在命名实体识别常用模型Bi LSTM-CRF的基础上,引入预训练模型XLNet对文本语句进行向量化表示,更好地结合上下文的语义信息,充分解决一词多义等问题;通过引入Attention机制,可以让模型对长文本训练语料中的语义特征信息更加充分的提取。通过实验对比,结果表明本研究提出的模型在糖尿病医学文本命名实体识别上优于其他基准模型。2.提出XLNet-Bi GRU-Attention-Text CNN-Softmax模型充分挖掘糖尿病医学文本中医学实体之间存在的关系。首先将糖尿病文本语句输入进XLNet模型,模型利用内部的Transformer-xl模块和相对位置编码机制对文本语句进行编码表示,从而捕捉到更加全面的特征信息;接着采用Bi GRU模型提取上下文特征信息并输入给融合Attention机制的Text CNN模块有选择性的抽取特征;最后,为了优化模型的训练,降低关系类别标签不均产生的影响,本研究选用标签平滑交叉熵作为损失函数进行模型调优。通过设置4种不同关系抽取模型的实验进行比较,验证了该糖尿病关系抽取模型可以获得较高的准确率、召回率和F1值。3.利用Spring Boot框架和Vue框架实现了糖尿病医学知识图谱查询系统的设计与实现。本研究将识别抽取出的15种医学实体和10种医学关系生成csv文件,同时选取合适的数据导入方式将糖尿病知识存放入Neo4j图数据库中。由于图数据库在数据存储、检索和处理等方面上有较强的能力,所以运用Spring Boot框架和Vue框架搭建了糖尿病知识图谱查询系统,该系统的成功搭建可以进一步帮助医疗工作者和科研人员快速便捷的查询糖尿病相关的医学知识并进行可视化分析,对糖尿病的预防、诊治有重要的帮助。

一种面向文本分类的机器学习平台的设计与实现

基于XLNet的农业命名实体识别方法研究

这是一篇关于农业命名实体识别,XLNet,迭代膨胀卷积网络,条件随机场,深度学习的论文, 主要内容为随着农业信息化的推进和自然语言处理相关技术的快速发展,越来越多的基层农户和相关从业者通过互联网提出问题,获取知识。农业文本中命名实体识别是其他任务开展的基础之一,可以从各类非结构化问答数据总识别实体,获取相关信息。农业命名实体识别技术可以帮助从业人员在海量的农业文献中快速找到所需信息,例如识别特定农作物的病害、适宜的农药肥料等信息,从而更加高效地解决农业生产中的各种问题。此外,农业命名实体识别技术还可以辅助相关领域的研究工作,例如对农业领域的知识图谱构建、领域专家智库建设等方面提供支持,进一步促进农业领域的发展与创新。因此,在农业领域中使用农业命名实体识别技术具有重要的实际意义。目前农业领域命名实体识别技术发展还处于初期阶段,尽管已经有一些研究工作涉及该领域的命名实体识别,但是相较于其他领域,农业领域命名实体识别还存在一些挑战和困难,例如语料库的缺乏、领域术语的多样性和复杂性、同一实体名称的歧义等问题。基于以上问题,本文旨在研究农业领域命名实体识别相关内容,具体研究内容如下:(1)目前,农业领域缺乏成熟的命名实体识别数据集,针对这一状况,本文以期刊文献、网络文本作为数据源,整理收集农业领域的文本语料,梳理了农业领域常见的实体类别,对基础文本进行数据预处理清洗后,用标注工具进行半自动化标注,后期人工审查核对,创建了包含20835个实体的农业领域标注语料库。(2)基于XLNet预训练模型,对常用的BERT模型和Bi-LSTM模型进行了替换,XLNet是一种结合了排列语言模型的预训练技术,不同于其他传统的预训练模型,吸收了了大量词元的排列顺序信息,具有更强的编码能力,能够更充分的捕捉文本的语义信息,缓解一词多义问题,XLNet还利用了Transformer-XL模型来增强模型的长距离依赖关系捕捉能力,更好地获取长文本实体之间的关联,并将词向量表示输入到迭代膨胀卷积网络(IDCNN)进行上下文编码,在充分利用GPU能力的情况下,同时提高了准确性和效率,最后通过条件随机场识别标签信息,输出最优序列。(3)将构建的XLNet-IDCNN-CRF模型在构建的农业领域语料库上进行实验,分别从性能和效率两个方面与其他众多主流模型进行对比,结果表明,性能方面该模型实体识别的准确率,召回率与F1值均优于其他模型;在效率方面,在收敛速度差别不大的情况下,单次迭代的时间也为多模型中最短,该模型的效率也表现出一定的优越性,从而证实了该模型的有效性。同时对模型本身特性进行分析,以便今后工作开展的便利。本研究有效地提高了农业领域命名实体识别任务的性能,但仍存在可以改进和展望的方向,未来可以进一步加强相关研究,提高命名实体识别的准确率和效率,为农业相关从业人员提供更准确、更全面的信息支持,帮助他们更好地解决生产中的各种问题。同时,还需要与农业领域相关的其他技术和领域进行交叉融合,才能更好地发掘农业领域的数据价值和应用前景。