短文本用户评论的分类系统设计与实现
这是一篇关于短文本分类,网络爬虫,联合训练,Dense-RNN,Attention的论文, 主要内容为随着互联网的日益普及,用户在互联网上产生了大量对商品、服务等个人体验的评价。用户在购买产品前,通过浏览已购买用户的评论来对商品进行客观的评价,关注产品中的优势和劣势,为购买一个适合自己的产品提供有益的帮助。产品的评论信息呈几何级数的增长,人工分析总结所有用户评价也越发显得不现实。短文本的分类系统,可以让用户和商家对产品有一个更便捷的认识途径,通过对分类结果的比较,可以使用户对产品的实际使用情况有一个总体把握。本文主要完成了以下工作:1.系统的需求分析确定系统的目标和各项功能点。2.系统的概要设计确定系统的五个主要模块,系统的详细设计具体细化各主要模块。构建系统核心的分类模型中,主要的改进有三点:(1)针对现有Bi-RNN模型考虑历史信息较弱,从而导致五分类效果较差问题,提出一种改进的Bi-RNN模型,采用在GRU结点之前外加Attention层,并且为每个GRU的输出增加维度;(2)针对如何体现每个词对于分类结果的重要程度问题,采用将深度神经网络模型与Attention机制相融合的方法;(3)针对用户评判商品的打分标准不一致导致五分类精度不高问题,采用对评论的打分预测进行五分类和二分类联合训练的方法。实验结果表明,融合以上三种改进的分类模型达到了最优性能。3.系统在实现过程使用爬虫系统,获取了京东平台上购买手机的111万条用户评论信息。经过对大量垃圾评论的过滤之后,完成整个系统。最后,对系统及其各个模块进行了功能测试和性能测试。在功能测试中所有模块都达到了设计要求。在性能测试中,对比了完成不同功能点所需的时间开销。实验表明,该系统基本符合其适用场景的需求。
基于客服会话的客户购物意愿预测模型研究与应用
这是一篇关于电子商务,客服对话,购物意愿预测模型,会话分类,Word2Vec,Transformer,BiLSTM,Attention的论文, 主要内容为随着互联网的发展,电子商务正在逐步取代传统的零售业,在线购物已成为大众生活的一部分,商家的服务中心开始由商品转向客户。如何利用有限的时间,与客户有效沟通,了解客户需求,尽量激发客户的购物意愿,是商家提高竞争力的重要手段。在大多数网络购物场景中,客户往往希望对商品的咨询得到及时的解答,否则很可能转向其他商家。因此,在海量客服会话数据中,实时挖掘出具有潜在购物意愿的客户(潜在购物客户),以对其提供重点服务,对于提升客服效率和企业效益非常重要。目前,基于客户历史行为(历史购买记录、浏览记录等)预测客户购物意愿的研究较多,而基于客服会话实现在线预测的研究很少。相对于后者,基于客户历史行为的预测模型存在以下主要不足:(1)实时性差;(2)难以对新客户的购物意愿做出准确判断;(3)老客户的每次客服咨询不一定都具有购物意愿;(4)客户对于具体商品的购物意愿经常会转移;(5)基于客服会话实时预测客户的购物意愿,是智能客服的关键功能之一。为此,本文基于电子商务平台的实时客服会话数据,研究如何构建客户购物意愿在线预测模型,实现潜在购物客户的实时挖掘,其主要工作包括:(1)基于某省电信公司微信营业厅在线预测客户购物意愿的需求,针对性地开展相关概念、方法、算法、技术的研究分析。(2)基于真实的电商平台客服会话数据,详细分析其特征,研究相关的预处理和标注方法。(3)基于深度学习技术,给出了一个基于Word2Vec、BiLSTM、Transformer、Attention、CRF的购物意愿预测模型并予以测试验证。(4)结合实际应用场景,针对客服会话数据流,研究应用先进的并行计算架构和技术,设计了一个可伸缩的缓存算法,实现并行化处理客服会话数据,有效提高处理效率。(5)为验证本文研究成果并实用化,给出了一个基于客服会话的在线客户购物意愿预测系统的设计方案,并予以实现和测试。
短文本用户评论的分类系统设计与实现
这是一篇关于短文本分类,网络爬虫,联合训练,Dense-RNN,Attention的论文, 主要内容为随着互联网的日益普及,用户在互联网上产生了大量对商品、服务等个人体验的评价。用户在购买产品前,通过浏览已购买用户的评论来对商品进行客观的评价,关注产品中的优势和劣势,为购买一个适合自己的产品提供有益的帮助。产品的评论信息呈几何级数的增长,人工分析总结所有用户评价也越发显得不现实。短文本的分类系统,可以让用户和商家对产品有一个更便捷的认识途径,通过对分类结果的比较,可以使用户对产品的实际使用情况有一个总体把握。本文主要完成了以下工作:1.系统的需求分析确定系统的目标和各项功能点。2.系统的概要设计确定系统的五个主要模块,系统的详细设计具体细化各主要模块。构建系统核心的分类模型中,主要的改进有三点:(1)针对现有Bi-RNN模型考虑历史信息较弱,从而导致五分类效果较差问题,提出一种改进的Bi-RNN模型,采用在GRU结点之前外加Attention层,并且为每个GRU的输出增加维度;(2)针对如何体现每个词对于分类结果的重要程度问题,采用将深度神经网络模型与Attention机制相融合的方法;(3)针对用户评判商品的打分标准不一致导致五分类精度不高问题,采用对评论的打分预测进行五分类和二分类联合训练的方法。实验结果表明,融合以上三种改进的分类模型达到了最优性能。3.系统在实现过程使用爬虫系统,获取了京东平台上购买手机的111万条用户评论信息。经过对大量垃圾评论的过滤之后,完成整个系统。最后,对系统及其各个模块进行了功能测试和性能测试。在功能测试中所有模块都达到了设计要求。在性能测试中,对比了完成不同功能点所需的时间开销。实验表明,该系统基本符合其适用场景的需求。
Research on E-business Review Sentiment Analysis Algorithm Based on Deep Learning
这是一篇关于Attention,Bert,BiLSTM,RCNN的论文, 主要内容为近些年来,随着大数据技术的迅速发展,越来越来的公司注重数据科学的研究和应用,利用大数据分析技术对公司的业务进行统计和分析。在大数据分析相关技术中,文本的情感分析是一个非常热门的研究方向。面向消费者的产品在电商平台有大量的评论,这些评论是用户对商品使用的直观反馈,包含了用户的情感倾向性。对这些评论数据进行高效、准确的情感分析可以对了解该产品的反馈情况提供很大的帮助。目前,文本情感分析方法主要分为3类:基于情感词典的方法、基于传统机器学习的方法以及基于深度学习的方法。基于情感词典的情感分析是最早使用,也是原理最简单的情感分析方法。该方法的准确性很大程度上依赖于情感词典的规模和完善性。对于新出现的词汇,情感词典无法及时进行收录,会使得情感分析的结果受到一定影响。基于机器学习的情感分析方法是继基于情感词典的情感分析方法之后第二种常用的方法,目前依然被广泛使用。相比于基于情感词典的方法,基于机器学习的方法最大的不同是该方法可以通过带标签的训练数据进行训练,让分类器去提取复杂文本中的情感特征,有效的解决了情感词典方法规则固定,对复杂句式判断能力差的缺点。但是,这些机器学习方法对特征工程的依赖程度过高。本论文所研究的是电商评论数据,如果使用传统机器学习的方法,对于不同类别的商品评论需要各级领域的专业人士进行特征提取,其开销较大。从2013年开始,深度学习开始被应用于自然语言处理的任务中,其中很多算法的性能相较于以往传统机器学习方法有着突破性的提高,使之迅速成为主流的研究方法。最近,大量学者将Attention机制运用在自然语言处理领域,Google公司在2018年提出的基于Attention机制的Bert模型刷新了该领域各种任务的记录。BERT不仅本身是一个优秀的模型,还可以和其他模型结合起来,在自然语言处理的很多领域达到更好的效果。在Bert模型被提出之前,大多数基于深度学习的情感分析工作都是使用Word2Vec来生成词向量,然后接上分类器进行文本的情感分类。虽然Word2Vec相较于传统机器学习方法可以更有效的提取文本的特征,但是该模型为静态编码,无法处理一词多义的问题,这一特性造成了该模型的局限性。在Bert模型被提出之后,情感分析相关工作中使用的模型逐步由Word2Vec替换为Bert。近两年来提出的使用Bert的模型相较于以往使用Word2Vec的模型大都有明显提升,但是在情感分析任务上,依然存在一定的提升空间。第一,在Bert提出之后,有一些研究针对Bert模型进行优化,提出了改进的模型如Roberta和Albert等,这些模型相较于Bert有更好的性能。第二,下游任务的神经网络的构建也对准确率有明显的影响,对这部分神经网络进行改进,同样可以提高模型的准确率。在构建下游神经网络的时候,需要通过实验来确定最佳的结构,本论文通过在电商数据集上进行对比实验,从而构建混合模型,使得该模型相较于近年来最常使用的模型有着更好的准确率。本论文提出的Albert-BiLSTM-ATT-RCNN混合模型在设计上为典型的文本分类任务的结构。首先要将文本转换成特征向量,然后通过全连接层进行分类。而将文本转换成特征向量这一步为混合模型的核心。这一步首先要将文本中的每个词转换成词向量,这个过程中使用的模型的文本特征提取能力会对整个混合模型结果产生很大的影响,因此本论文提出的混合模型选取最新的Albert模型来替代Word2Vec模型。在构建下游神经网络的时候,要最大化该部分神经网络的特征提取能力。本混合模型的下游神经网络以BiLSTM模型为基础,融入了 RCNN层和Attention层进一步提取序列特征,使得混合模型达到最佳的分类效果。混合模型的RCNN层选取整个时序上的最大值来作为文本的特征表示向量,这种选取方式类似CNN模型的最大池化。选择该方式是因为在一个文本中一般只包含少量的重点词汇,这些词汇对文本的情感倾向往往有着决定性的影响,使用最大池化可以将这些重点词汇的特征表示突出捕捉,而平均池化则会稀释这些重点词汇的特征表示。混合模型的流程如下:首先,训练数据中的每一条评论文本首先会被转换成Albert指定的输人格式,经过Albert模型计算生成该文本的词向量编码,在这之后,该词向量编码会作为BiLSTM模型的输入,BiLSTM层会分别计算正向和逆向的上下文表示向量。之后的模型分为两个部分:第一部分为RCNN,该层会将评论数据中的每一个词的词向量和这个词的上下文表示向量拼接起来,作为卷积层的输入,再通过max-pooling层之后输出文本对应的特征向量;第二个部分为注意力机制加权处理,通过给定BiLSTM的每一个时间节点的输出一个权值,然后通过训练确定最优权值分配,最后加权求和得出特征向量。最后一层是将这两个特征向量拼接起来,经过一层全连接层,通过softmax函数得出对该文本情感极性的判断。在训练过程中会通过损失函数对预测结果的误差进行量化,然后在训练的过程中不断优化网络参数来减小该误差。训练的模型会被保存起来,在之后的评估阶段加载训练好的模型,使用该模型对测试集数据进行分类预测,以评价该模型的准确率。本论文在Albert-BiLSTM-ATT-RCNN混合模型的基础上,设计了一种表情符号处理方案,即评论文本使用预训练语言模型,表情符号通过随机初始化的方式进行特征学习。实施流程如下:首先将评论文本中包含的表情符号提取出来,将去掉表情符号和文本和表情符号分别储存。然后对表情符号的特征向量进行随机初始化,在fine-tune过程中学习它的特征。接着将Albert层输出的词向量编码与表情符号的特征向量进行拼接。最后将拼接后的向量作为BiLSTM层的输入,之后的步骤和无表情符号处理的混合模型一致。该方案可以在不改变原有混合模型结构的前提下增加对表情符号的训练。使用该方案可以更有效的对包含表情符号的评论文本进行情感分析。本文使用爬虫爬取的京东、天猫平台的商品评论数据作为数据集。爬虫爬取的原始评论数据在进行预处理和人工标注之后加入到数据集中。本论文提出的混合模型在该数据集上进行实验,首先通过不同超参数设置的对比实验确定混合模型超参数的设置,然后将混合模型与近年来最常使用的Word2Vec-SVM、Word2Vec-RCNN、Word2Vec-BiLSTM-ATT 以及组成混合模型的单一模型 Albert、Albert-RCNN、Albert-BiLSTM-ATT等模型在同—数据集上进行对比实验,实验数据表明,本混合模型具有最高的准确率,达到89.89%,相比于使用Word2vec的模型准确率提升超过5%;相比于只使用Albert单一模型,混合模型提升了 2.3%的准确率,验证了在Albert模型的下游任务中增添神经网络进一步提取特征可以得到更高的准确率。而相比于混合模型组成部分的Albert-RCNN和Albert-BiLSTM-ATT这两个模型,混合模型分别提升1.56%和1.43%的准确率,验证了同时使用RCNN层和Attention层可以得到进一步提升。之后是验证表情符号处理方案的实验。实验结果显示,表情符号参与训练可以提升1.9%的准确率,具有一定的有效性。由于Bert相关的预训练模型仅包含了对文字的处理,对于本论文研究的电商评论这种包含表情符号的网络文本,在原混合模型的基础上增加对表情符号处理可以在一定程度上提高情感分析的准确率。
基于深度学习的水稻病害识别和严重程度估计研究
这是一篇关于水稻病害识别,AB-SE-DenseNet,DCABlock,FFM,Attention,DFFANet,病斑分割,病害严重程度估计的论文, 主要内容为水稻作为我国的主要粮食作物,在全国范围内广泛种植,但其在种植过程中容易受到病害侵染,影响其产量和品质,造成粮食安全和经济损失等问题。因此,快速、准确地识别出水稻病害的类别及严重程度对保障水稻产量具有重要意义。传统的识别以植保专家肉眼识别评估为主,具有一定的主观性,耗时耗力,不能满足水稻病害识别实时性的需求。在人工智能技术背景下,基于深度学习的农作物病害识别方法具有精度高、速度快等优点,为作物病害的科学防控提供了有效的技术手段。本文以水稻病害作为研究对象,采用基于深度学习的水稻病害识别与严重程度估计方法,为实现水稻病害的快速、准确的诊断识别提供技术支持。论文的主要研究内容和结果如下:(1)研究基于改进Dense Net的水稻病害识别方法。利用具有特征权重自适应优点的挤压和激励模块(SE)优化Dense Net网络结构,将SE模块计算出来的各通道输入特征的权重与原始特征图对应通道做乘法运算,将权重和原始特征融合,融合后的水稻病害特征作为网络的输入,从而增强有利特征,解决了特征利用率低以及特征冗余对网络的影响,提高了网络性能。同时利用Ada Bound优化器对学习率进行动态裁剪,提高了模型的学习率和训练效果,建立了基于改进Dense Net网络的水稻病害识别模型,并利用该模型对水稻病害进行了识别。实验结果表明AB-SEDense Net识别模型准确率为99.4%,与VGG、Res Net、Dense Net、Vision Transformer相比收敛速度更快,识别准确率有较大提升。(2)研究基于DFFANet的水稻病害严重程度估计方法。为了实现快速准确分割水稻病害病斑,准确的评估水稻病害严重程度,本文设计了特征提取(DCABlock)模块和特征融合(FFM)模块实现对水稻病害浅层和深层特征尽可能完整的提取;然后进一步设计了轻量级的注意力(Attention)模块指导特征学习,对提取后的不同尺度的特征进行有效融合,并利用上述模块构建了DFFANet轻量级网络模型。将此模型应用于水稻病斑分割,实现了平均交并比为96.15%,速度为188FPS,并且模型参数量只有1.4M。最后,将病斑分割结果用于水稻病害严重程度估计,评估的平均准确率达到96.5%。结果表明,与该领域现有其他方法进行比对,DFFANet模型能够在较小的模型参数量下取得较高的检测速度,达到分割精度和速度的有效平衡,为实现水稻病害快速检测提供技术支持。(3)基于深度学习的水稻病害识别系统设计与实现。基于改进Dense Net水稻病害识别网络和基于DFFANet的水稻病害严重程度估计方法,并结合利用Pycharm、Tkinter和Python语言开发了水稻病害识别系统,并测试验证了基于深度学习的水稻病害识别系统软件的可行性和本文所提算法的有效性,为实现实际背景下田间水稻病害种类的识别和病害严重程度有效评估提供了技术支撑。在系统中,用户只需要上传待检测的病害图像,就可以得到病害的类别以及严重程度。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设货栈 ，原文地址：https://m.bishedaima.com/lunwen/54403.html
