基于多模型融合情感分析的北林绿色新闻网移动平台研建

这是一篇关于移动新闻管理,微信小程序,评论情感分析,胶囊神经网络,残差神经网络的论文, 主要内容为北京林业大学绿色新闻网是校宣传部发布学校相关新闻的Web网站,为了紧跟时代发展,方便用户在移动端浏览新闻和实现互动,北京林业大学宣传部亟需构建一个和绿色新闻网配套的移动平台实现移动端新闻的管理与发布,实现对用户评论的发布支持与情感分析。基于该需求,本文设计构建了北林绿色新闻网移动平台,涵盖Web端的移动新闻管理后台和绿色新闻网微信小程序,并设计实现了一个多模型融合的评论情感分析模型,实现了对北林新闻评论的自动情感分析。本文主要工作如下:(1)针对新闻评论情感分析模块,构建了校园新闻评论数据集和多模型融合的评论情感分析模型。该模型采用Bert预训练模型初始化输入评论表征,基于Res Net、Capsnet和Muilt-Bi LSTM等多种深度神经网络进行情感特征抽取和融合得到评论情感极性分析。本文构建的北林校园新闻评论数据集与公开的点评数据集上的多个实验结果表明该模型具有较好性能,能够支持绿色新闻网的新闻评论情感分析。(2)针对北林宣传部从绿色新闻网选取新闻到移动端发布,采用基于Spring Boot+Vue前后端分离的开发方式构建开发了Web端的移动新闻管理后台,为绿色新闻网的管理员设计实现了不同类型的移动新闻管理、评论管理和评论情感分析等功能。(3)针对移动端用户对绿色新闻网新闻阅读的需求,设计开发了北林绿色新闻网微信小程序,向移动端用户提供在微信小程序端浏览北林绿色新闻网上不同类型新闻的功能,并支持对新闻进行评论和收藏等功能。

面向知识图谱补全的链接预测研究

这是一篇关于知识图谱补全,图注意力网络,胶囊神经网络,链接预测,负样本采样的论文, 主要内容为知识图谱(KG,Knowledge Graph)是人工智能研究和智能信息服务的核心技术,是真实世界信息的结构化表示。在一个知识图谱中,节点表示实体,边是连接两个实体的关系。由于知识图谱能够对结构化、复杂的数据进行建模,因此它被广泛应用于化学、生物、金融、医疗等诸多领域。尽管现有的大规模知识图谱已经含有丰富的知识,但是还是会出现不完整的情况,这个问题引发了链接预测(Link Prediction)的研究。链接预测是根据一定的预测机制,对知识图谱中的实体或者关系进行预测,从而完成知识图谱补全的任务。深度学习技术是目前处理链接预测的最好方法之一,其利用神经网络的学习能力来学习知识图谱上的实体、关系的表示,处理链接预测任务,从而完成知识图谱补全。尽管基于神经网络的模型在处理链接预测任务表现出显著的优势,但是仍然存在一些不足。知识图谱是由众多三元组构成的链接形成的一张具有复杂关系的关系图。然而,一方面,基于神经网络的知识图谱嵌入模型由于网络层的不断加深使得高层特征与底层特征之间位置模糊,即高层特征与底层特征无法对应,从而导致无法捕捉到组与组之间关系的问题;另一方面,在知识图谱嵌入模型的训练过程中,每个正样本三元组需要对应的负样本,当前多数负样本的生成方法使用了均匀采样(Uniform Sampling)的方式,容易造成训练过程中的梯度消失,因此,如何生成高质量的负样本也是一个亟待解决的问题。针对上述两个问题,本文主要研究内容如下;(1)提出了融合图注意力网络(GAT,Graph attention network)和胶囊神经网络(Caps Net,Capsule Network)的知识图谱嵌入模型,以编码器-解码器框架为基础,使用图注意力的特征嵌入方法捕获每个实体邻域中的实体和关系特征,引入胶囊神经网络来解码三元组,将节点嵌入特征定义为第一层胶囊,通过squash函数对第一层胶囊进行特征理解并定义为第二层胶囊,将生成的连续向量与权重向量做点积运算,再构建评分函数用于判断三元组的准确性,使得该模型能够充分捕获组与组之间的关系。在公开数据集WWN18RR和FB15K-237上,对该模型进行了链接预测实验验证,在公开数据集WWN18和FB15K上,进行了三元组分类实验验证,实验结果表明,本文提出的融合GAT和Caps Net模型能在处理链接预测和三元组分类任务中具有显著优势。(2)提出了基于Word Net的知识图谱负采样方法,并将该方法应用到(1)中提出的模型、Trans E和Trans H模型中。该方法使用Word Net同义词标号进行训练,首先利用Word Net上下位词词典,将知识库中具有上下位词层次性特征的三元组提取出来,进行分组,然后利用同一组内的相似实体进行相互替换,生成负三元组作为基本负样本库进行采样,根据不同的损失函数更新质量高的负三元组,最后,将正三元组与负三元组作为输入对模型进行训练。在公开数据集WWN18RR和FB15K-237上,对该方法进行了链接预测实验验证,在公开数据集WWN18和FB15K上,进行了三元组分类实验验证,实验结果表明,基于Word Net的负样本采样方法能够产生高质量负三元组,使知识图谱补全模型在各方面指标上都有显著提升。

基于多模型融合情感分析的北林绿色新闻网移动平台研建

这是一篇关于移动新闻管理,微信小程序,评论情感分析,胶囊神经网络,残差神经网络的论文, 主要内容为北京林业大学绿色新闻网是校宣传部发布学校相关新闻的Web网站,为了紧跟时代发展,方便用户在移动端浏览新闻和实现互动,北京林业大学宣传部亟需构建一个和绿色新闻网配套的移动平台实现移动端新闻的管理与发布,实现对用户评论的发布支持与情感分析。基于该需求,本文设计构建了北林绿色新闻网移动平台,涵盖Web端的移动新闻管理后台和绿色新闻网微信小程序,并设计实现了一个多模型融合的评论情感分析模型,实现了对北林新闻评论的自动情感分析。本文主要工作如下:(1)针对新闻评论情感分析模块,构建了校园新闻评论数据集和多模型融合的评论情感分析模型。该模型采用Bert预训练模型初始化输入评论表征,基于Res Net、Capsnet和Muilt-Bi LSTM等多种深度神经网络进行情感特征抽取和融合得到评论情感极性分析。本文构建的北林校园新闻评论数据集与公开的点评数据集上的多个实验结果表明该模型具有较好性能,能够支持绿色新闻网的新闻评论情感分析。(2)针对北林宣传部从绿色新闻网选取新闻到移动端发布,采用基于Spring Boot+Vue前后端分离的开发方式构建开发了Web端的移动新闻管理后台,为绿色新闻网的管理员设计实现了不同类型的移动新闻管理、评论管理和评论情感分析等功能。(3)针对移动端用户对绿色新闻网新闻阅读的需求,设计开发了北林绿色新闻网微信小程序,向移动端用户提供在微信小程序端浏览北林绿色新闻网上不同类型新闻的功能,并支持对新闻进行评论和收藏等功能。

多尺度胶囊神经网络研究与应用

这是一篇关于多尺度,胶囊神经网络,路由算法,忆阻器,医学影像分类的论文, 主要内容为胶囊网络是近些年来提出的一种新型神经网络架构,旨在解决传统卷积神经网络不能有效学习图像中实体空间层级关系的缺陷。现阶段,胶囊网络在MNIST、Fashion-MNIST等数据集的分类任务中表现优秀,但其仍然处于研究的初期阶段,尚有一些问题亟待解决。首先,胶囊网络在复杂数据集上的性能表现不佳,这说明胶囊网络的架构及路由算法还具有进一步优化的空间。其次,胶囊网络的神经元相较于传统神经网络扩展了一个维度,所以它在推理阶段需要进行大量矩阵-矩阵乘法运算,这对部署设备的存储器带宽以及矩阵运算性能提出了较高的要求,因此适用于胶囊网络的端侧部署方案还需进一步研究。针对上述问题,本文从网络架构设计、路由算法优化、部署方案设计以及应用方面对胶囊网络的算法和理论进行了完善。本文的主要创新工作如下:(1)针对胶囊网络在复杂数据集上性能表现不佳、在端侧部署难度大的问题,本文结合算法与新型器件忆阻器,提出了一种软-硬件协同设计的多尺度胶囊神经网络模型MMRCaps Net。在模型设计方面,该网络构建了多级残差胶囊模块,增强了胶囊网络对多尺度特征的提取能力;引入空洞卷积方法,增强了网络对特征上下文信息的提取能力;提出了一种基于转置卷积的重构子网络,实现了更佳的重构效果。与经典胶囊网络模型Caps Net相比,MMRCaps Net通过轻量化的架构设计减少了约50%的参数量,并且在CIFAR10数据集与SVHN数据集上的分类精度分别提高了8.42%和0.9%,有效地提升了胶囊网络在复杂数据集上的性能。在部署方案方面,本文基于“神经形态计算”的思想,从胶囊网络在端侧设备中的部署应用出发,提出了基于忆阻交叉阵列的MMRCaps Net电路实现方案。该方案支持矩阵-矩阵乘法的并行计算,配合忆阻器件的非易失特性,可以以极低的功耗实现“存算一体”,有望推动胶囊网络在智能终端设备上的部署和应用。(2)针对胶囊网络架构简易、路由算法效率不高的问题,本文结合多尺度特征学习与注意力机制,提出了缩放点积注意力胶囊网络模型SDACaps Net,并研究了其在医学影像分类任务中的应用。在网络架构方面,该模型设计了由多个残差卷积模块组成的特征提取模块,用于提取图像中的多尺度特征信息及上下文信息;延续了轻量化的思想,在保持优秀性能的前提下取消了重构子网络,网络整体参数量仅为MMRCaps Net的31%。在路由算法方面,SDACaps Net引入了注意力机制,提出了高效的缩放点积注意力路由算法SDA Routing,使各胶囊层特征向量之间的传递更加精细和准确。接着本文在包含两种医学影像的四个数据集上对SDACaps Net的性能进行了评估与分析,多项性能指标表明SDACaps Net在医学影像分类任务中表现优秀,尤其是在小样本数据集上表现出了具有竞争力的性能,这一点在应对突发公共卫生事件时具有极高的实用价值。最后,本文将SDACaps Net与领域内其他先进的胶囊网络模型以及一些经典卷积神经网络进行了性能比较,验证了SDACaps Net的有效性。本文从网络架构、路由算法、部署方案以及应用方面对胶囊网络进行了深入研究,相关成果丰富了胶囊网络的理论发展,具有一定的应用价值。

基于深度学习的论文推荐系统的设计与实现

这是一篇关于文本分类,推荐系统,长短记忆神经网络,胶囊神经网络,卷积神经网络的论文, 主要内容为智能信息推荐,因其可以广泛的应用在各种信息系统中,有效解决面对海量信息的问题,以及建立起适应性的个性化应用系统,而受研究者和各个行业的广泛关注。本课题以研究生文献资料的阅读为背景,尝试找到一种有效的文本分类方法,以建立智能推荐系统,使其可以根据学生自己的需求来推荐相关的文献资料。本论文在分析了相关的文本分类技术以及推荐系统的研究现状。在此基础上,论文对目前较为流行的三种神经网络进行了理论的分析以及实验的对比,另外对胶囊神经网络与循环神经网络中的双向循环门限单元相结合,取长补短,充分利用双向循环门限单元的快速训练参数的优势,减少了胶囊网络训练的参数,从而提高了模型的准确率和预测速度。实验结果表明改进的胶囊神经网络相对于传统的三种神经网络就准确率以及F-Score均是最优的。本文将改进的胶囊神经网络应用在论文推荐系统中,并且结合现有的推荐算法,制定了适合于本文的推荐策略。最后对论文推荐系统进行了功能性和非功能性的需求分析,并且设计出一套易于操作的推荐系统。论文推荐系统采用了前后端分离技术。后端用到了Spring Boot+Mybatis框架,数据库用的是MySQL,并且通过Redis作数据缓存;前端用的是Vue.js框架,Web服务器用的是Tomcat,反向代理用的是Nginx。该系统共分为四大模块,包括首页即论文推荐模块、学生信息模块、阅读历史模块以及文献查阅功能。本文旨在将深度学习算法有机的应用在论文推荐系统中,对提高学生们快速准确地获取需要的文献资料具有重要的研究意义,进而促使学生们文献资料的获取朝着更加智能化的方向发展。

面向知识图谱补全的链接预测研究

这是一篇关于知识图谱补全,图注意力网络,胶囊神经网络,链接预测,负样本采样的论文, 主要内容为知识图谱(KG,Knowledge Graph)是人工智能研究和智能信息服务的核心技术,是真实世界信息的结构化表示。在一个知识图谱中,节点表示实体,边是连接两个实体的关系。由于知识图谱能够对结构化、复杂的数据进行建模,因此它被广泛应用于化学、生物、金融、医疗等诸多领域。尽管现有的大规模知识图谱已经含有丰富的知识,但是还是会出现不完整的情况,这个问题引发了链接预测(Link Prediction)的研究。链接预测是根据一定的预测机制,对知识图谱中的实体或者关系进行预测,从而完成知识图谱补全的任务。深度学习技术是目前处理链接预测的最好方法之一,其利用神经网络的学习能力来学习知识图谱上的实体、关系的表示,处理链接预测任务,从而完成知识图谱补全。尽管基于神经网络的模型在处理链接预测任务表现出显著的优势,但是仍然存在一些不足。知识图谱是由众多三元组构成的链接形成的一张具有复杂关系的关系图。然而,一方面,基于神经网络的知识图谱嵌入模型由于网络层的不断加深使得高层特征与底层特征之间位置模糊,即高层特征与底层特征无法对应,从而导致无法捕捉到组与组之间关系的问题;另一方面,在知识图谱嵌入模型的训练过程中,每个正样本三元组需要对应的负样本,当前多数负样本的生成方法使用了均匀采样(Uniform Sampling)的方式,容易造成训练过程中的梯度消失,因此,如何生成高质量的负样本也是一个亟待解决的问题。针对上述两个问题,本文主要研究内容如下;(1)提出了融合图注意力网络(GAT,Graph attention network)和胶囊神经网络(Caps Net,Capsule Network)的知识图谱嵌入模型,以编码器-解码器框架为基础,使用图注意力的特征嵌入方法捕获每个实体邻域中的实体和关系特征,引入胶囊神经网络来解码三元组,将节点嵌入特征定义为第一层胶囊,通过squash函数对第一层胶囊进行特征理解并定义为第二层胶囊,将生成的连续向量与权重向量做点积运算,再构建评分函数用于判断三元组的准确性,使得该模型能够充分捕获组与组之间的关系。在公开数据集WWN18RR和FB15K-237上,对该模型进行了链接预测实验验证,在公开数据集WWN18和FB15K上,进行了三元组分类实验验证,实验结果表明,本文提出的融合GAT和Caps Net模型能在处理链接预测和三元组分类任务中具有显著优势。(2)提出了基于Word Net的知识图谱负采样方法,并将该方法应用到(1)中提出的模型、Trans E和Trans H模型中。该方法使用Word Net同义词标号进行训练,首先利用Word Net上下位词词典,将知识库中具有上下位词层次性特征的三元组提取出来,进行分组,然后利用同一组内的相似实体进行相互替换,生成负三元组作为基本负样本库进行采样,根据不同的损失函数更新质量高的负三元组,最后,将正三元组与负三元组作为输入对模型进行训练。在公开数据集WWN18RR和FB15K-237上,对该方法进行了链接预测实验验证,在公开数据集WWN18和FB15K上,进行了三元组分类实验验证,实验结果表明,基于Word Net的负样本采样方法能够产生高质量负三元组,使知识图谱补全模型在各方面指标上都有显著提升。

面向链接预测的知识图谱嵌入方法研究

这是一篇关于知识图谱嵌入,链接预测,胶囊神经网络,图神经网络,注意力机制的论文, 主要内容为知识图谱将现实世界存在的知识通过实体和关系进行结构化表示,以图的形式存储,实体为节点,关系为边。随着知识的不断扩充知识图谱体量不断增大,知识图谱不完整问题日益凸显。其不完整性限制了知识图谱的下游任务,如推荐系统、专家系统等。为解决图谱信息不完整问题和更好地辅助下游应用,出现了知识图谱补全任务。链接预测任务作为经典的知识补全任务,不仅能补全知识图谱的信息,还可以将图谱中的实体和向量表示为低维度连续向量,该过程称为知识图谱嵌入。高效的知识图谱嵌入能够准确表征图谱信息,有效地提高下游任务性能。深度学习的发展带动知识图谱嵌入技术的发展,大批量基于神经网络的模型随之产生,且相较于传统模型具有显著优势。知识图谱不仅具有语义特性且包含图特性,目前对于知识图谱的图谱数据输入处理大致可分为单个三元组信息的处理和整个图谱信息的处理。一方面对单个三元组特征信息提取具有可提升空间,在目前模型基础上可通过建立深层网络进行深度特征提取。另一方面单个三元组需依赖其图谱全局信息,最大程度发挥三元组内部特征信息和三元组间交互信息,进一步增强嵌入的信息表征。基于此分析,本文主要研究内容如下:(1)提出了基于多尺度卷积和特征融合的知识图谱嵌入模型(Multi-scale Covolution and Feature Assimilation Capsnet Embedding,MCACaps E)。针对现有模型不能充分捕捉三元组内部信息,提出了MCACaps E模型,利用多尺度卷积扩大卷积层的范围更能全面提取三元组内实体和关系的特征。该模型在原有的胶囊神经网络上进行扩展,将原有的卷积特征提取层的卷积核扩展以提取更多三元组间的交互信息,在特征图生成阶段进行相应特征。特征融合后得到新的特征矩阵生成第一层特征胶囊,第一层特征胶囊通过动态路由机制得到第二层胶囊。第二层胶囊权重平均后即为最终向量,通过压缩函数得到最终的三元组置信度,依据分数高低来判断三元组是否存在。在经典公开数据集FB15k-237和WN18RR上进行大量实验测试并对结果进行分析,FB15k-237数据集的MR、H@10指标和WN18RR数据集上的MRR、H@10指标均取得当前对比模型最优值。(2)提出了融合图神经网络和胶囊神经网络的知识图谱嵌入模型(Graph Neural Networks and Multi-scale Covolution and Feature Assimilation Capsnet Embedding,GNN-MCACaps E)。针对卷积神经网络只处理单个三元组而未考虑全局信息的问题,在MCACaps E模型的基础上加入图谱信息提出GNN-MCACaps E模型。该模型在以下两方面改进:一是将胶囊神经网络的Trans E初始向量替代为由图神经网络模型训练所得向量。二是为保留图谱信息,将初始向量输入网络,同时将初始向量作为特征胶囊加入第一层胶囊,并将原有生成最终胶囊的权重平均机制改进为基于注意力机制的权重机制。首先利用图神经网络生成含有全局信息的实体和关系向量,将得到的向量输入到多尺度卷积胶囊网络,生成对应的全局信息胶囊,此时第一层胶囊包括基础三元组胶囊和全局信息的胶囊。第一层胶囊利用动态路由机制算法生成第二层胶囊,第二层胶囊通过基于注意力机制的权重算法得到最终胶囊,动态拟合各个胶囊特征对最终评分的影响。聚合全局信息,动态匹配各项胶囊信息以提高链接预测的准确性,该模型实验在WN18RR和FB15k-237公开数据集上进行大量实验测试并对结果进行分析。FB15k-237数据集的MRR、H@10指标和WN18RR数据集上的MR、H@10指标较MCACaps E模型均有所提高。

基于深度学习的论文推荐系统的设计与实现

这是一篇关于文本分类,推荐系统,长短记忆神经网络,胶囊神经网络,卷积神经网络的论文, 主要内容为智能信息推荐,因其可以广泛的应用在各种信息系统中,有效解决面对海量信息的问题,以及建立起适应性的个性化应用系统,而受研究者和各个行业的广泛关注。本课题以研究生文献资料的阅读为背景,尝试找到一种有效的文本分类方法,以建立智能推荐系统,使其可以根据学生自己的需求来推荐相关的文献资料。本论文在分析了相关的文本分类技术以及推荐系统的研究现状。在此基础上,论文对目前较为流行的三种神经网络进行了理论的分析以及实验的对比,另外对胶囊神经网络与循环神经网络中的双向循环门限单元相结合,取长补短,充分利用双向循环门限单元的快速训练参数的优势,减少了胶囊网络训练的参数,从而提高了模型的准确率和预测速度。实验结果表明改进的胶囊神经网络相对于传统的三种神经网络就准确率以及F-Score均是最优的。本文将改进的胶囊神经网络应用在论文推荐系统中,并且结合现有的推荐算法,制定了适合于本文的推荐策略。最后对论文推荐系统进行了功能性和非功能性的需求分析,并且设计出一套易于操作的推荐系统。论文推荐系统采用了前后端分离技术。后端用到了Spring Boot+Mybatis框架,数据库用的是MySQL,并且通过Redis作数据缓存;前端用的是Vue.js框架,Web服务器用的是Tomcat,反向代理用的是Nginx。该系统共分为四大模块,包括首页即论文推荐模块、学生信息模块、阅读历史模块以及文献查阅功能。本文旨在将深度学习算法有机的应用在论文推荐系统中,对提高学生们快速准确地获取需要的文献资料具有重要的研究意义,进而促使学生们文献资料的获取朝着更加智能化的方向发展。