8篇关于BiLSTM的计算机毕业论文

今天分享的是关于BiLSTM的8篇计算机毕业论文范文, 如果你的论文涉及到BiLSTM等主题,本文能够帮助到你

基于BiLSTM与Bert的短文本分类方法研究

这是一篇关于短文本分类,特征提取,注意力机制,BiLSTM,Bert的论文, 主要内容为在信息时代的今天,各式各样大量的短信息数不胜数,包括手机短信、垃圾邮件、问答及推荐系统的留言、购物平台的商品评价等,及时准确的从短文本库中提取有价值的信息是目前文本分类领域面临的一大难题。研究高效的短文本内容提取方法是当前学术界的发展趋势,有助于提高用户获取有效信息的质量和速度,满足不同部门新闻分类、情感分类、舆情分析的需求。目前短文本分类中存在特征表示高维稀疏、语义分布不明显、上下文语意联系不强等问题,给信息抽取造成了一定的困扰。为更好的解决这些问题,提高文本分类的准确率,本文采用双向长短期记忆网络BiLSTM和Bert模型对短文本分类算法进行研究,主要工作包括:提出一种BiLSTM与注意力机制相结合的短文本分类模型,来解决长距离依赖问题并突出重点词汇在文本分类中的比重。该模型包括one-hot词向量输入层、BiLSTM层、注意力机制层和输出层。其中BiLSTM层可获取更多上下文不同距离的语义信息,注意力机制层对经过BiLSTM层编码的数据进行转变加权提升序列化的学习任务。通过实验表明:基于该模型的IT招聘信息分类准确率达到93.36%,与其他模型对比,提高约2%。构建基于Bert-BiLSTM的短文本分类模型,该模型在预处理过程中采用Bert进行向量表示,可以有效降低矩阵维度并解决一词多义等问题,对下游任务的进行奠定了良好的基础。BiLSTM模型对其向量进行训练,有效结合上下文语境,从而提高短文本分类的准确率。

基于深度学习的中文命名实体识别技术研究

这是一篇关于中文命名实体识别,多头自注意力机制,密集连接,BiLSTM,GRU,BERT的论文, 主要内容为随着互联网技术和信息技术的发展,传统的搜索方式逐渐被以知识图谱为支撑的搜索方式所代替,以知识图谱为支撑的搜索方式不仅能为用户提供更为精确的结果,而且还能提供其他相关联的知识点。作为构建知识图谱的重要基础工作,命名实体识别一直都是一个受关注度非常高的课题。相对英文上的命名实体研究而言,面向中文的实体抽取技术研究水平相对滞后,方法多是在面向英文的研究工作基础上,加入部分人工语言特征来实现实体的识别与抽取。这是因为与英文相比,中文存在一定的特殊性包括命名实体类型的多样性、天然分隔符的缺失以及中文名称常出现的一些嵌套现象,这些特殊性使得目前中文命名实体识别存在巨大的提升空间。本文以基于深度学习的中文命名实体识别为主要研究内容,对中文和外文的现有命名实体识别方法进行了研究,重点对深度学习命名实体识别技术进行了介绍,总结了目前中文命名实体识别的难点,本文引入了目前较为流行的深度学习序列标注模型—神经网络+CRF模型作为基准模型,并在此基础上进行了改进,使其更好的应用于中文命名实体识别任务中。首先,为了减弱模型对人工特征的依赖性,提高模型对特征的捕捉能力,本文在目前Bi LSTM+CRF基线模型上加入多头自注意力机制,该机制能在多个不同子空间捕获上下文相关信息来更好地理解和表示句子结构,充分挖掘文本自身蕴含的特征,通过分配权重的方式,突出关键词在抽取中的作用,防止关键信息的缺失。同时为了提取更为深层的特征,本文使用了多层神经网络,为改良深层神经网络容易出现的梯度消失和梯度爆炸问题,本文将一种密集连接(Dense Connection)的网络连接方式应用于中文命名实体识别模型中,使模型收敛更快速。本文将提出的模型在中文数据集上进行评估,与已有的模型进行实验对比。实验表明该模型是可行的,能取得较为先进的结果。本文还对比实验了密集连接方式和直接堆叠神经网络模型,实验表明密集连接方式能取得更好的结果,同时拥有更好的收敛性。随后,本文介绍了本文提出的另一种基于BERT的中文命名实体框架,该框架使用Bi GRU+CRF作为模型的主体,GRU网络相比于LSTM网络来说网络结构较为简单,训练更为容易。为了提高抽取的效率,本文使用了一种新的词向量表示方法BERT,该词表示是一种动态的词向量,相比于目前主流词向量来说能够能提供更加丰富的语义,使模型能够捕获到更丰富的中文文本特征,对模型效果有一定的提升,通过实验验证,本文提出的模型取得较高的F1值,与其他模型相比都能取得较为先进的结果。综上所述,本文利用深度学习方式提出的两种中文命名实体识别框架,在通用数据集上识别效率高,拥有良好的可移植性和泛化能力,是比较可行的中文命名实体识别框架。

中文专利知识图谱构建研究

这是一篇关于专利知识图谱,BiLSTM,注意力机制,BERT,术语抽取,关系抽取的论文, 主要内容为专利是一种发明创造也是一种知识产权并且受到法律的保护,包含了大量的科技成果和创新技术。对已有专利中包含的知识资源进行深层次的挖掘和分析,是科技创新的前提。本文拟通过构建新能源汽车领域的专利知识图谱来实现对该领域专利知识的表示、分析以及挖掘,从而更加有效的分析专利之间的联系,优化专利的检索。知识图谱是通过符号的形式来描述物理世界中的概念及其概念之间的关系,是结构化的语义知识库,不仅能以更接近人类认知的方式表达海量信息,而且为海量信息提供了更好的组织和管理形式。知识图谱是由实体-关系-实体三元组,以及实体及其相关属性-值对组成,构成网状的知识结构。在构建新能源汽车领域专利知识图谱的过程中,本文重点研究了专利术语抽取方法、专利术语关系抽取方法以及专利属性值抽取方法。主要内容可以概括为以下几个方面:提出了基于多特征融合及BiLSTM-CRF模型的专利术语抽取方法。为提高中文专利领域术语抽取结果的准确率和召回率,从深度学习的角度出发,并选取词性和依存关系作为特征,提出一种基于多特征融合及双向长短时记忆网络(BiLSTM)与条件随机场(CRF)相结合的专利领域术语抽取模型(BiLSTM-CRF),在词性和依存关系两个显性特征的基础上,使用双层双向LSTM神经网络挖掘专利数据中的语义信息及其时序信息,解决了传统方法中存在的通用性不强以及无法捕捉上下文中隐含信息的缺点,同时又能够通过CRF层考虑输出标签之间前后的依赖关系。实验结果表明,该深度学习方法在领域术语抽取方面是行之有效的,并获得89.79%的准确率和85.35%的召回率。提出了一种基于注意力机制的BiLSTM和关键词策略的专利术语关系抽取方法。在专利文本信息向量化中加入通过改进的关键词抽取算法(TextRank)获得的每个句子中的类别关键词特征,然后使用BiLSTM神经网络及注意力机制挖掘数据中的时序信息以及句子级别的整体特征信息,同时使用池化层获得文本的局部特征,最后将得到的文本信息的整体特征和局部特征进行融合,并通过分类器输出最终的分类结果。类别关键词的加入提高了类别的区分度。实验结果表明,该深度学习方法在专利术语关系抽取方面是行之有效的,并获得90.85%的准确率和90.64%的召回率。提出了一种基于BERT-BiGRU-CRF模型的专利属性值抽取方法,该方法首先使用BERT模型将专利文本按字训练成为低维向量矩阵,由BiGRU模型结合数据中的时序信息以及语义信息计算出属于每个标签的概率,最后由条件随机场CRF根据标签之间的前后依赖关系求解出最优的标签序列。通过反向传播算法对模型进行优化,辅以Dropout使模型更加健壮。实验结果表明,BERT-BiGRU-CRF模型在专利属性值抽取方面是行之有效的,并获得85.09%的准确率和80.03%的召回率。

基于深度学习与情感分析的电影推荐系统研究与实现

这是一篇关于电影推荐,XLNet,BiLSTM,多头自注意力机制,CNN,GRU的论文, 主要内容为互联网的快速发展让网络信息爆炸式增长,这导致了极其严重的信息过载问题。而推荐系统作为主要的信息过滤技术之一,面临用户评分数据稀疏、用户评分和评论情感取向存在较大偏差、对用户和项目的深层次特征挖掘不充分等问题。因此,本文针对电影推荐,研究并实现了一种基于深度学习和评论情感分析的推荐系统。本文旨在结合用户评论、评分数据,以及电影描述信息,使用深度学习方法构建个性化电影推荐模型。首先,使用爬虫技术获取豆瓣电影的相关数据。然后,使用情感分析技术对评论数据进行极性划分,并建立基于深度学习的混合电影推荐模型。最后,完成电影推荐系统的设计与实现。具体研究内容如下:(1)阐述了课题研究的背景与意义,分析了有关情感分析和推荐算法的国内外研究现状;同时,研究了传统的协同过滤推荐算法以及目前主要的深度学习推荐技术,剖析了其各自的优势与不足。(2)在对影评进行情感分析时,针对Word2vec等静态词向量技术不能学习文本的深层信息、解决一词多义,以及RNN存在的长期依赖和上下文深层语义挖掘不充分的问题,本文提出了一种新的中文影评情感分类模型XL-MHA-Bi LSTM(XMB)。首先,使用XLNet预训练语言模型生成具有上下文依赖的词向量来对影评信息进行分布式表征;然后,将词向量输入到Bi LSTM网络中,对评论的深层语义进行分析和计算;之后,使用多头自注意力机制(Multi-head Self Attention mechanism,MHA)对评论进行多维语义特征筛查;接着,使用Sigmoid函数实现影评情感极性分类。最后,通过实验验证了本文模型的有效性。(3)针对传统的系统过滤推荐算法受到数据稀疏问题的制约,电影评论和描述信息未得到充分的利用,无法学习到用户和电影的深层次特征表述,而各种混合推荐算法又面临辅助信息表示不当等各种问题,本文提出一种新的混合推荐模型XMB-CNNGRU。首先,使用本文所提出的XMB情感分类模型进行评论情感分析,并将评论的情感分析结果和评分矩阵以及电影描述信息融合;之后,将矩阵分解得到的用户和电影隐向量输入卷积神经网络CNN中,利用CNN强大的局部特征学习能力得到用户和电影的深层特征表示;最后,将用户和电影的特征向量输入GRU网络中,预测用户对电影的评分,并通过实验验证模型的预测准确性。(4)利用本文提出的推荐模型,使用My SQL数据库和Django框架设计并实现了一个电影推荐系统。

基于客服会话的客户购物意愿预测模型研究与应用

这是一篇关于电子商务,客服对话,购物意愿预测模型,会话分类,Word2Vec,Transformer,BiLSTM,Attention的论文, 主要内容为随着互联网的发展,电子商务正在逐步取代传统的零售业,在线购物已成为大众生活的一部分,商家的服务中心开始由商品转向客户。如何利用有限的时间,与客户有效沟通,了解客户需求,尽量激发客户的购物意愿,是商家提高竞争力的重要手段。在大多数网络购物场景中,客户往往希望对商品的咨询得到及时的解答,否则很可能转向其他商家。因此,在海量客服会话数据中,实时挖掘出具有潜在购物意愿的客户(潜在购物客户),以对其提供重点服务,对于提升客服效率和企业效益非常重要。目前,基于客户历史行为(历史购买记录、浏览记录等)预测客户购物意愿的研究较多,而基于客服会话实现在线预测的研究很少。相对于后者,基于客户历史行为的预测模型存在以下主要不足:(1)实时性差;(2)难以对新客户的购物意愿做出准确判断;(3)老客户的每次客服咨询不一定都具有购物意愿;(4)客户对于具体商品的购物意愿经常会转移;(5)基于客服会话实时预测客户的购物意愿,是智能客服的关键功能之一。为此,本文基于电子商务平台的实时客服会话数据,研究如何构建客户购物意愿在线预测模型,实现潜在购物客户的实时挖掘,其主要工作包括:(1)基于某省电信公司微信营业厅在线预测客户购物意愿的需求,针对性地开展相关概念、方法、算法、技术的研究分析。(2)基于真实的电商平台客服会话数据,详细分析其特征,研究相关的预处理和标注方法。(3)基于深度学习技术,给出了一个基于Word2Vec、BiLSTM、Transformer、Attention、CRF的购物意愿预测模型并予以测试验证。(4)结合实际应用场景,针对客服会话数据流,研究应用先进的并行计算架构和技术,设计了一个可伸缩的缓存算法,实现并行化处理客服会话数据,有效提高处理效率。(5)为验证本文研究成果并实用化,给出了一个基于客服会话的在线客户购物意愿预测系统的设计方案,并予以实现和测试。

基于BiLSTM-CRF模型的观赏植物命名实体识别研究

这是一篇关于观赏植物实体识别,CRF,BiLSTM,BiLSTM-CRF的论文, 主要内容为农作物植物文本记录中涵盖的命名实体包含着大量与观赏植物密切相关的文本信息,快速准确的识别出植物文本数据中观赏植物的特征命名实体,是推动农业智能化中知识图谱发展的重要条件。命名实体识别作为自然语言处理的一项重要子任务,是文本信息识别的关键。目前,在观赏植物领域,文本命名实体识别还属于空白,对观赏植物进行命名实体识别这项研究对后续的农业问答系统的建立、农业知识图谱的构建等研究有着推动意义。本文面向观赏植物文本,利用相关的命名实体识别技术,主要进行了如下研究工作:(1)对与本课题研究过程中相关的实体识别模型CRF、BiLSTM以及BiLSTM-CRF进行探究,分析将三种算法运用于观赏植物实体识别中的结果,对比了几种算法的优缺点;(2)构建观赏植物命名实体识别数据集,包括原始数据的采集、清洗、标签设定及标注工作等;(3)对于模型CRF、BiLSTM以及BiLSTM-CRF分别在所构建的观赏植物命名实体识别数据集中的精确率、召回率及F1值都进行了对比分析,得出了BiLSTM-CRF模型的表现最突出的结论,其中精确率达到了94.09%,召回率为94.18%,F1值为94.00%。;(4)构建了一个基于BiLSTM-CRF模型的观赏植物命名实体识别系统,并设置了相关的主要功能模块。

基于深度学习的商品评论情感分析方法研究

这是一篇关于商品评论,文本情感分析,BiLSTM,注意力机制,知识蒸馏的论文, 主要内容为随着互联网在电子商务行业的全面覆盖,各种商业服务平台快速发展,承载了多种类型的数据信息。与视听多媒体数据相比,因特网中的文字数据消耗资源较少,很容易进行网上传输,因此文字信息是使用最为广泛的表达形式。自然语言处理中的文本情感分析正是研究如何从文字中找到有用的信息内容。由于计算能力和优化算法的限制,目前常用的情感分析算法存在参数较多、只针对特定数据集效果好及实时性无法满足实际应用需要的问题。本文以电商平台在线评论文本数据为研究对象,选择BiLSTM算法作为基础算法并融合注意力机制和词性,从大量的评论数据样本中主动学习文本中的语义信息并获得文本的特征与情感分类结果,达到精准提取文本数据中情感的目的。本文将深度学习模型与知识蒸馏方法相结合,实现情感分析模型的精确化和轻量化,优化模型性能。根据设计的分类模型研究了基于深度神经网络的商品评论情感分析系统,系统可以根据用户的操作自动预测文字内容所表达的情绪状态,从而帮助人们挖掘文本信息,做出正确的判断。本文主要工作总结如下:(1)基于深度学习的商品评论情感分析算法的研究与改进。本文以BiLSTM算法为切入点,设计pos-BiLSTM-Att优化算法,通过融合注意力机制,给予主要特征较高的注意力概率值,从而提高处理速度和准确度,进而提升文本分类效果。还通过嵌入词性信息来更好的学习评论语句特征。为了使设计的pos-BiLSTM-Att模型不仅有较高的情感分析准确度,还能保持较小的复杂度。本文将高精度但是参数量巨大的ALBERT-FN教师模型的知识利用知识蒸馏方法转移至pos-BiLSTM-Att学生模型,从而获得性能更加优越的pos-BiLSTM-Att模型。(2)基于深度学习的商品评论情感分析算法的性能测试与分析。对实验环境与实验数据予以介绍,从算法的预测准确率和实时响应效果出发对本文核心算法与其他情感分析算法进行对比分析。实验表明,在各个不同的数据集上,本文提出的pos-BiLSTM-Att模型的三项关键指标均高于其他对比模型。此外,经过蒸馏过的pos-BiLSTM-Att模型能够以较小的参数量和更快的响应时间达到更佳的预测效果。(3)基于深度学习的商品评论情感分析系统的设计与实现。本文选择Word2vec作为词向量模型,选择蒸馏过的pos-BiLSTM-Att模型作为系统情感分析模型,并依据系统设计需求和应用场景构建系统整体设计方案。设计系统基本功能模块、框架和工作流程,并分别实现系统注册登录以及各个子模块功能,证明系统能够达到预期要求。