基于主动学习的面向微博实体识别模型研究与实现
这是一篇关于命名实体识别,部首信息,联合训练,注意力机制,实体边界任务,主动学习的论文, 主要内容为命名实体识别任务作为自然语言处理领域一项重要的底层任务,对信息检索、自动问答、知识图谱等上游任务发挥着重要作用,其性能好坏直接影响到相关上游任务的表现。此外,信息时代网络社交媒体中涌现出不同领域的海量信息,命名实体识别模型从这些海量数据中提取关键信息是十分有必要的。然而,目前的命名实体识别算法针对规范性文本研究较为成熟,但针对微博文本命名实体识别的研究相对较少,命名实体识别在微博文本上的效果远不如规范性文本。因此,针对微博文本的命名实体识别研究具有重要意义。如今自然语言处理领域普遍使用深度学习方法,利用神经网络提高命名实体识别任务的性能已成为一种流行的方法。因此,设计一种适用于微博文本的命名实体识别模型是本文研究的重点。基于微博文本口语性较强,文本长度短等特性,本文使用双向长短时记忆网络(BI-LSTM)结合条件随机场(CRF)为基线模型,设计了一种适用于微博文本的命名实体识别模型,相比于传统的BI-LSTM结合CRF的方法,本文主要研究工作如下:1)基于部首和位置信息的字向量模型。考虑分词包含对实体识别任务的有益信息,以及微博文本新词、生僻词多的特点,本文使用字位置信息和字部首信息训练字向量模型,首先利用分词结果对单个汉字标记位置信息,使得字向量包含有用的可能词特征,再对汉字拆分成最小组成单元:部首,字向量模型训练学习汉字的结构信息,最后将两者拼接作为最终的字向量,实验表明,本文的字向量模型具有更好的性能表现。2)基于联合训练的实体识别模型。考虑中文文本不同于英文文本有明显的边界信息,本文设计了一个新的任务:实体边界识别,该任务仅对实体词的位置进行识别,而不识别实体词的类别。模型首先将字向量输入BI-LSTM部分学习全局特征,再使用注意力机制增加重要信息的权重,最后联合训练实体边界与实体识别任务,实验结果表明,相较现有实体识别基线模型,本文模型增强了对相关实体的提取能力。3)基于主动学习的实体识别模型。考虑微博文本高质量训练数据少,提出一种融合主动学习策略的训练方法,将少量训练数据输入网络训练模型,再使用现有模型在未标注语料上进行预测,利用语句置信度筛选更值得标注的数据,人工完成复核后再加入到训练数据中,反复多轮训练实体识别模型,实验表明主动学习策略在大大缩减了人工标注量的同时,快速提高了模型性能。最后,本文在公开微博数据集、MSRA微软实体语料以及15000条微博标注语料上对提出的模型和基线模型进行了对比分析实验以及消融分析实验,实验证明本文模型性能表现优于基线模型,消融实验的对比证明了本文模型每个结构对于模型性能提升的必要性。
基于BERT的中文文本情感分析研究
这是一篇关于情感分析,BERT,注意力机制,对抗训练,Stacking的论文, 主要内容为随着计算机和互联网技术的飞速发展,越来越多的民众选择在社交媒体上撰写评论,表达自己的观点和看法。微博、脸书、推特等互联网平台每天都会产生海量的文本数据,挖掘并分析这些文本数据的潜在情感倾向,对于辅助政府、企业等团体机构进行舆情掌控及决策有着重要的价值。情感分析技术的核心在于情感分类模型的构建,传统方法是以情感词典或机器学习算法为基础来构建模型。基于词典的情感分析方法存在着情感词典构建难度大,泛化能力差和无法有效处理时效性较强的网络新词等问题;基于机器学习的情感分析方法存在人工构建特征难度大、缺乏高质量标注数据等缺点。对此,伴随着计算机性能的大幅度提升,以深度学习算法为基础的情感分析技术在近些年得到了广泛的研究与重视,其中基于Word2Vec词向量和深度神经网络的情感分类模型相比传统模型在性能上得到了大幅度的提升,但还是存在着无法处理中文一词多义、无法充分提取深层语义特征和模型鲁棒性不强等缺点。近年来,BERT等预训练语言模型在自然语言处理领域内取得了巨大成功,因此受到了国内外研究学者们的广泛关注。本文围绕情感分析任务展开研究,以BERT预训练语言模型为基础,针对静态词向量无法处理中文一词多义及传统神经网络语义特征提取能力不足、深度学习模型在对抗样本攻击下的脆弱性、单一模型的有限性等问题,提出了相应的解决方案,最后为增强情感分类模型的可解释性,完整地实现情感分析功能,设计并实现了一套情感分析系统。本文的主要研究工作包括以下几点:(1)针对传统情感分类模型无法解决中文一词多义和语义特征提取能力不足的问题,本文提出一种基于BERT模型的情感分析方法,在此基础上以BERT模型为核心,优化模型结构,提升模型性能,构建了 BERT-BiLSTM-Att情感分类模型,该模型根据上下文动态生成词向量,通过BERT内部的Transformer编码器提取文本的语义特征,使用BiLSTM网络对语义特征进行二次提取,同时引入注意力机制突出关键情感信息。实验结果表明,相较于传统情感分类模型,BERT-BiLSTM-Att模型能够有效处理中文一词多义带来的情感类别错分,并且可以在有效提取上下文语义信息的同时提取关键情感信息,提升了情感分类模型的综合性能。(2)针对深度学习模型在对抗样本攻击下的脆弱性问题与单一模型泛化能力弱,鲁棒性差的问题,本文首先改进模型训练方式,使用对抗训练算法对模型进行对抗训练以提升模型的鲁棒性与泛化能力,然后采用Stacking算法将多个模型进行集成,得到一个优化后的情感分类模型。有别于在训练前对样本添加干扰的静态数据增强方法,对抗训练在训练过程中向输入嵌入层添加扰动以得到对抗样本,使用混合了对抗样本的输入使模型提前学习适应这种变化,以应对未知对抗样本的攻击,提升模型的鲁棒性与泛化能力。Stacking集成算法框架通过将多个基分类器进行融合,强强联合优势互补,可以得到一个较佳的强分类器,本文选用改进训练方式后的三个情感分类模型作为基分类器,进行模型的融合。实验结果表明,本文改进训练方式后的模型相比原始模型,在整体性能上得到了提升,最后基于Stacking集成算法得到了一个综合性能较好的情感分类模型。(3)基于已完成的研究工作,本文以Stacking算法集成后的情感分类模型为基础,设计并实现了一套情感分析系统。情感分析系统采用B/S架构,总共分为三层,分别为表现层、逻辑层与数据层,其中文本预处理、情感分析等功能模块分别在这三层结构中实现。用户可通过Web浏览器访问该情感分析系统,并进行文本的情感倾向分析。
基于评分与评论的推荐算法研究
这是一篇关于推荐系统,深度学习,注意力机制,自然语言处理的论文, 主要内容为推荐算法在信息过载时代扮演着至关重要的角色。一方面,用户可以借助推荐算法从海量信息中寻找到自己感兴趣的事物;另一方面,信息提供者也能借助推荐算法使生产出的信息得到广泛的关注。然而现有的推荐算法的性能常常受限于以下问题:(1)数据稀疏问题:用户交互过的物品通常只占总物品数的一小部分,因此用于记录用户与物品交互的矩阵中大部分元素都处于缺失状态。此现象导致的数据稀疏性问题会增加模型对用户和物品建模的难度。(2)无法充分学习表征问题:用户的评论质量良莠不齐。不充分的数据清洗会导致数据集中仍然存在不切题、信息量贫瘠的评论;同时评论之间通常也隐含着错综复杂的关联信息。从低质量的、未考虑相关性的评论数据中学习到的表征无法精确表达用户偏好和物品特征。(3)静态学习问题:一个用户所有评论的主题是异质的,即一个用户的所有评论通常包含了此用户对不同种类物品的偏好;而一个物品所有评论的主题是同质的,即一个物品的所有评论通常都在描述此物品本身的特征。这种用户和物品评论的差异,若使用完全平行的网络建模,将导致静态学习问题。针对上述问题本文的主要研究内容如下:(1)针对数据稀疏问题,本研究提出的两种模型均同时考虑了评分信息和评论信息。由于用户的文本评论是一种序列化、含有丰富语义的隐式特征,能够对评分信息进行补充,因此通过评论和评分同时进行推荐,能够在一定程度上缓解单纯利用数字评分所产生的数据稀疏性问题。(2)针对无法充分学习表征问题,本研究提出的基于Bert预训练模型的局部-全局感知注意力模型,该模型使用了两种不同层次的注意力机制对用户和物品进行建模:局部注意力机制能够考虑评论之间的内在联系;全局注意力机制能够尽可能减少劣质评论对模型性能的影响。实验表明,此模型能够获得比单纯使用评分的模型更好的性能表现,同时也优于使用传统的卷积神经网络和循环神经网络的模型,在一定程度上获得了更精确的用户和物品表征。(3)针对静态学习问题,本研究提出的基于Albert微调模型的动态双重注意力模型,在局部-全局感知注意力模型的基础之上,通过改进的全局注意力机制,解决了以往模型中由于使用完全平行的网络而导致的用户特征和物品特征无法交互的问题,通过将用户的特征矩阵与物品的特征矩阵进行注意力计算,动态地学习用户在面对不同物品时的偏好。实验表明,此模型学习到的表征更为精确且是动态的。最后,在亚马逊数据集(包含了四个子数据集)上的实验表明,本文提出的两种模型相较于基准模型(Neural CF,Deep Matrix Factorization,NARRE,DeepCLFM)均能够获得更佳的表现。
基于异构图神经网络的电商商品会话推荐系统的设计与实现
这是一篇关于基于会话的推荐系统,异构图神经网络,注意力机制,电子商务的论文, 主要内容为在大数据时代,海量的数据信息给用户造成了严重的“信息超载”问题,推荐系统是克服这个问题的主要方法之一。在电商领域,推荐系统通过挖掘用户与商品的历史交互行为捕捉用户兴趣偏好,为用户推荐其感兴趣的商品,并给电商平台创造更大的利润和价值。相对于传统的推荐方法只关注用户的长期静态偏好,基于会话的推荐方法将用户行为记录分解成粒度更小的会话,能够考虑用户行为的事务结构,并及时捕捉用户兴趣偏好的转变,从而为用户展示更加可靠的商品推荐结果。但是,以往基于会话的推荐方法的研究往往只关注会话数据集中商品间的顺序关系和转换关系,忽略了其它重要信息。因此本文提出了基于异构图神经网络的会话推荐算法,该算法将会话数据集构建成包含用户、商品、会话三种类型节点的异构图,使用异构图神经网络捕捉节点间复杂的依赖关系,并结合注意力机制强调当前会话的主要目的。为验证模型的性能,本文在两个开源的数据集上与目前比较流行的推荐方法进行比较。同时,本文设计并实现了一款前后端分离的电商商品推荐系统。与传统推荐系统不同的是,本系统以会话作为基本数据单元,并将基于异构图神经网络的会话推荐算法应用于该系统的推荐引擎,为用户提供基于当前会话的推荐服务。本系统的前端是基于Android技术开发的移动应用,后端采用Flask框架搭建Web服务,完成了用户管理、商品管理、会话管理、商品推荐以及可视化分析功能模块的开发。
跨领域的小样本实体关系分类方法研究
这是一篇关于跨领域,小样本实体关系分类,注意力机制,特征转换的论文, 主要内容为实体关系分类是信息抽取中重要的技术之一,在智能问答、知识图谱生成、信息检索等场景中发挥着重要作用。现有的实体关系分类模型受大规模的标注数据限制,对于像医疗、金融等标注语料少、难获取、标注成本高的领域,模型性能很难提高。并且当模型训练和测试的两种数据来自不同领域时,由于不同领域的特征分布有偏差,模型会出现在训练数据领域上表现良好而在测试数据领域上表现差的现象。针对以上问题,本文展开跨领域的小样本实体关系分类方法研究,重点研究如何在目标领域样本量有限的情况下提高分类模型的泛化能力,从而提高模型的分类性能。本文的主要贡献如下:(1)本文采用的跨领域小样本实体关系分类模型主体分为两个部分:编码器和分类器。其中,编码器采用BERT预训练模型。对输入进行扩充处理,在输入句子中实体的前后位置插入标签。取BERT输出的隐藏层中实体对开始位置标签对应的向量进行拼接,作为输入句子中实体对关系的向量表示。分类器采用了两种度量方法,分别为点积的方式和原型网络。基于小样本学习的模型能通过少量训练样本快速获得解决问题的能力,缓解了模型对标注数据的依赖。(2)提出了一种融合多维度注意力机制的方法。将多维度注意力机制与度量方法进行融合,提高模型的分类能力。多维度注意力主要包括了实例级注意力和特征级注意力。实例级注意力用于选择有益于分类的实例,避免噪音数据的影响。特征级注意力用于突出特征空间中易区分的特征维度,缓解特征稀疏性问题。(3)提出了一种基于学习特征转换层的方法。将特征转换层集成到编码器上,用于学习特征的各种分布,从而提高模型的泛化能力。由于在不同的度量函数和不同领域条件下,特征转换层的超参数很难通过手动调整找到有效的通用参数。因此,采用自学习的方式来优化特征转换层的超参数。
基于DeepLabV3+模型的道路场景语义分割方法研究
这是一篇关于图像语义分割,DeepLabV3+,注意力机制,Focal Loss损失函数的论文, 主要内容为随着人工智能领域的不断深入,基于道路场景的图像语义分割对于自动驾驶尤为重要,该问题也是深度学习领域重要的研究课题之一。但道路场景下的图像复杂多变,传统的语义分割模型已经不能满足其图像分割需求,对小物体图像分割效果不佳,而且对设备要求较高,同时上下文信息获取不足。为了提高道路场景的语义分割精准度,本文对传统的Deep Lab V3+模型进行优化,提出了FGDF-Deep Lab V3+模型,经验证本文优化的模型具有较好的图像分割效果。本文主要研究工作如下:(1)为提高网络模型的分割精度,减少模型参数量,将Xception＿65和Mobile Net V2特征提取网络进行实验分析。与Mobile Ne V2相比,Xception＿65虽然略有优势,但从参数量、准确性和训练时长等多方面综合考虑,最终确定Mobile Net V2作为Deep Lab V3+的特征提取网络。(2)为了获取更关键、丰富的语义信息,提出了一种基于GAM(Global Attention Mechanism)注意力机制和FPN(Feature Pyramid Networks)的FG-Deep Lab V3+道路场景语义分割算法。首先利用FPN结构将特征信息进行整合,进行语义增强。其次使用GAM注意力机制,来解决注意力机制通道和空间信息交互的问题。经实验证明,FGDeep Lab V3+模型对细节的处理更细致,具有较好的分割效果。(3)为了使模型的感受野更大并能够快速收敛,提出了基于改进ASPP和损失函数的FGDF-Deep Lab V3+道路场景语义分割。该方法首先对Deep Lab V3+中ASPP进行密集连接改进,模型的感受野更宽广和像素采样更稠密。其次是FGDF-Deep Lab V3+模型采用Focal Loss损失函数,有效解决了因模型数据不均衡而造成分割精度下降的问题,同时优化参数调整策略。经实验证明,FGDF-Deep Lab V3+模型有效提升了基于道路场景下的语义分割精度。
基于图卷积神经网络的会话推荐研究
这是一篇关于会话推荐,图卷积网络,自适应传播,注意力机制的论文, 主要内容为推荐系统作为计算机领域的重要技术,在当今大数据时代各个领域中的应用也越来越广泛,人们也越来越依赖推荐系统在海量数据中为自己筛选有用的信息。在用户信息对系统透明的场景中,基于会话的推荐算法受到了广泛关注,它不需要用户身份信息,仅根据用户历史行为信息为用户推荐感兴趣的商品。基于深度学习的会话推荐方法和模型被提出后取得了很好的推荐效果,从循环神经网络到图神经网络的应用,模型的性能得到了很大的提升。但是,图神经网络的使用仍然存在很多缺陷,如不能将部分节点的特征传递到整个图中,以及深层神经网络存在过度平滑问题,不能很好地区分节点特征等。本文针对以上问题进行深入研究,并提出相应的改进策略。因为现有的模型存在不能提取更深层次的节点特征等问题,本文提出了基于高阶聚合的图卷积网络模型的会话推荐模型HAMA-GCNs。该模型叠加图卷积层形成深度神经网络从而聚合节点更高阶的邻居节点信息,挖掘更深层次的特征信息;同时,图卷积层的消息传递机制的设计减缓了传播过程的过度平滑的现象。然后,在会话表达中融合了多头注意力机制,提高了会话的表达能力。在HAMA-GCNs模型基础上,针对神经网络层数无法确定以及仍存在的过度平滑问题,本文提出了基于扩展自适应传播和注意增强图卷积网络模型的会话推荐模型EAPAE-GCNs。该模型在HAMA-GCNs的多层神经网络中加入了自适应传播过程,在训练过程中自适应地计算每个节点的通信步数,从而确定神经网络层数;同时,改变了神经网络的消息传递机制,消除了深度神经网络的过度平滑现象。在会话表达中,除了采用多头注意力机制,还考虑了目标项的影响,加入了目标感知的注意力机制进行会话向量编码。为证明本文提出模型的有效性,本文的两个模型在公开数据集上进行对比实验,结果表明本文提出的两个模型在Recall@20和MRR@20两个指标下,优于现有模型,同时进行了大量实验说明本文提出模型的合理性。如,HAMA-GCNs在Diginetica数据集的MRR@20指标下比现有模型的推荐精度提高3.01%,EAPAE-GCNs在Yoochoose1/4数据集的Recall@20指标下比现有模型的结果提高4.88%。
面向道路场景的目标检测算法研究与实现
这是一篇关于目标检测,轻量级,上下文信息增强,注意力机制的论文, 主要内容为目标检测是自动驾驶实时场景感知的关键技术,对汽车中控系统起着指导作用,已经成为各大互联网公司、传统车企致力于技术革新的研究热点,是集便利性和安全性于一身的关键核心技术。传统的目标检测已经无法满足自动驾驶实时检测的高要求,此外由于车载等移动端设备计算能力不足、城市道路场景复杂以及各种天气变换因素,因此其应用有着一定的局限性。针对上述问题,本文从轻量级、上下文信息以及注意力机制等多个角度出发来提升模型的综合性能,在现有模型的基础上进一步优化了面向道路场景的目标检测模型,在保证效率的同时也确保了较好的检测精度,并基于上述算法模型完成了系统设计。本文的主要工作如下:(1)针对车载等移动端设备存储空间和计算资源不足等问题,并考虑到道路场景中存在大量的小目标并且目标尺度也会随着视角的移动而变化,较容易造成漏检和误检,本文通过对现有轻量级骨干网络Mobile Net系列和Efficiet Net系列进行了对比分析,设计了基于Efficiet Net-B2的YOLO-B2(Yolo Only Look Once-B2,YOLO-B2)模型来减少了网络参数量和计算量,同时也保证了检测的实时性和准确性,并在YOLO-B2模型基础上提出了基于上下文信息增强的金字塔集成模块来解决特征融合前的高层特征信息丢失问题,该模块通过引入最大池化和空洞卷积来增大模型感受野,以获得丰富的上下文信息,从而解决小目标检测不敏感问题。通过与现有优秀方法进行实验对比,实验结果表明,在增加少量参数的前提下提高了检测精度,本文方法有着较好的效果。(2)针对特征融合前信息自顶而下传播过程中引起的的信息冗余以及复杂自然环境背景因素干扰等问题。本文设计了基于双注意力机制的注意力加强网络来缓解特征融合后的信息冗余以提高模型在复杂背景环境下的多尺度特征表达能力,该网络首先引入通道注意力机制来分配权重以调整各通道之间的重要程度,再通过交叉对齐的方式统一特征图分辨率,最后引入空间注意力机制进一步捕捉目标位置,在空间维度上提高目标定位能力。实验结果表明,双注意力机制的使用能够显著提高目标检测定位能力以及检测精度。(3)本文最后描述了面向道路场景的目标检测系统设计过程,包括系统各模块功能以及可视化界面等。并为了直观展示上述目标检测模型的效果,本文设计了一个面向道路场景的目标检测系统,实现了一个具备图片检测、视频检测以及摄像头实时检测功能的目标检测系统。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工厂 ，原文地址：https://m.bishedaima.com/lunwen/45288.html
