基于深度学习的细粒度文本情感分析研究
这是一篇关于细粒度,情感分析,注意力机制,深度学习,自然语言处理的论文, 主要内容为随着信息技术的迅速发展,社交媒体和电商平台上产生了大量带有情感倾向的内容,将这些文本数据进行情感分析并统计,对社会和商业等领域都有重要价值。情感分析已经成为自然语言处理研究领域最受欢迎的任务之一。早期的情感分析研究主要集中于粗粒度的情感分析,粗粒度的情感分析认为一个文档或句子只包含了一种情感。但在实际情况中,一段文本中包含多个实体或者特定实体的多个方面,不同的方面可能存在不同的情感倾向,细粒度情感分析可以得到不同方面的情感信息。因此,细粒度情感分析任务近年来受到了学术界的广泛关注,具有极高的研究和应用价值。之前的细粒度情感分析方法很难更有效地关注重点词所包含的情感信息,并且忽略了方面词与上下文间的联系。为了解决以上提到的问题,开展了本文的研究。本文提出一种基于特征融合与自注意力机制的情感分析模型,即FF-ATT模型。该模型利用双向门控神经单元从前后两个方向进行特征提取,抽取得到文本的双向语义信息,获得了更准确的上下文表示,减少了模型的训练时间。考虑到并非所有单词在情感分类中都具有同等重要性,为了在融合时考虑不同单词对情感分类结果的影响,使用自注意力机制根据不同单词的重要程度合理的分配单词所对应的权重。此外,在融合策略上,先计算方面词和上下文的注意力分数,之后将注意力加权向量的输出拼接得到最终融合向量,将其送入情感分类器进行分类。FF-ATT模型在Restaurants14、Laptop14和Twitter三个数据集上进行实验,在准确率和F1值两个评价指标上比其他基线模型提高约1%。除此之外,本文采用BERT预训练词向量模型和多头注意力机制对FF-ATT模型进行优化,提出BERT-DATT模型。该模型利用BERT增强了上下文和方面词的特征表示,获得了更深层次的语义。同时引入了多头注意力机制捕获特定方面词和上下文的依赖关系,提供了更精确的特征表示以用于情感分类。BERTDATT模型在Restaurants14数据集上准确率达到了83.41%,在其他数据集上也取得了良好的结果,验证了模型的有效性。
面向中文百科知识图谱的实体细粒度分类技术的研究
这是一篇关于实体分类,细粒度,知识图谱的论文, 主要内容为实体分类任务是构建知识图谱的必要步骤。到目前为止,在实体分类方向已经有了大量的研究工作,但是这些方法通常只能获取实体的粗粒度概念信息,这对于知识图谱的构建还有基于知识图谱的应用来说是远远不够的。由于中英文的差异性,这种情况在中文实体分类任务中表现的更差。在本文中,我们提出了一个面向中文百科知识图谱的实体细粒度分类算法。我们以百科词条为实体,构建了一个知识抽取框架,并从中抽取实体信息,然后通过数据清洗工作来获取高质量的结构化数据,最终将数据以三元组的形式存储到知识图谱中。为了获取高质量的实体细粒度概念,我们不仅从实体的标题标签和信息框中挖掘出实体的高质量、细粒度概念信息,而且将从摘要中抽取的概念信息和人工标签作为含有噪声的候选细粒度概念集合。本文首先从标题标签和信息框中获得可靠的实体概念信息;然后将实体、属性、属性值和概念组织到一个信息图中,并从图中获取每个候选(实体-概念)对之间的一些路径信息;最终通过基于卷积神经网络的Path-CNN二分类模型识别出更多具有instance-of关系的(实体-概念)对。通过大量实验,我们发现与以前的方法和DBpedia知识图谱相比,本文提出的模型可以为知识图谱中的实体挖掘出更多高质量、细粒度的概念信息。
局部语义感知的细粒度草图检索
这是一篇关于草图检索,细粒度,局部语义,局部特征的论文, 主要内容为随着互联网上图像内容的急速增加,图像检索需求日益增加。目前主要的图像检索方法包括基于文本的图像检索和基于内容的图像检索。然而,基于文本的图像检索在检索复杂图像时存在困难,且需要大量人力进行标注;基于内容的图像检索也面临着获取输入图像的困难。与文本和自然图像不同,手绘草图表意丰富且易于获取,因此草图检索成为了一种更为理想的图像检索方法。草图检索可以分为粗粒度和细粒度两种,其中细粒度草图检索能更好地捕捉用户需求,其检索难度也更大。针对这一任务,研究人员主要采用基于度量学习的方法,即先提取全局特征,再通过优化将特征映射到一个统一的特征空间。然而,全局特征的使用导致模型只能感知全局语义,难以很好地感知更为重要的局部语义。因此,本文旨在研究局部语义感知的细粒度草图检索。为了让模型感知局部语义,本文创新性地提出使用局部特征完成细粒度草图检索任务,并提出了动态局部对齐网络(DLA-Net)。DLA-Net由局部特征提取器和动态对齐模块这两个部分组成。局部特征提取器使用ResNet50的中层特征图和局部L2正则化获取局部特征,动态对齐模块通过跨模态交互找到特征间的匹配关系,借此解决空间错位问题。实验表明DLA-Net在常用数据集上的检索准确率大幅超越了已有方法,并且其检索准确率首次在所有数据集上超越了人类。对于检索任务,检索时间也是需要考虑的重要指标。局部特征在大幅提升DLA-Net检索准确率的同时也降低了其检索速度,为此本文提出了针对局部特征的检索效率提升方法,该方法包含自交互背景特征消除模块和特征降维模块。自交互背景特征消除模块利用图像中前背景区域的先验信息定位并消除背景局部特征,特征降维模块使用1 × 1卷积降低特征维度,并使用二阶段的方式进行训练。实验表明这两个模块可以在保证DLA-Net检索准确率的同时大幅提升检索效率。最后,本文还基于上述提出的方法开发了细粒度草图检索系统,通过该系统对细粒度草图检索的落地应用进行了探索。
基于用户细粒度兴趣的个性化推荐系统
这是一篇关于推荐系统,用户兴趣,细粒度,注意力机制的论文, 主要内容为随着移动互联网的快速普及,社交媒体环境下的多媒体信息量与日俱增,信息服务质量受到信息过载的极大挑战。个性化推荐系统作为服务用户的一项技术,核心在于为用户过滤符合用户兴趣的信息内容,提高用户的信息体验,因此,用户兴趣的分析和建模是保证推荐质量的关键。考虑到用户兴趣本身的多样性和动态性、以及推荐任务中普遍存在的交互稀疏、冷启动等问题,用户兴趣的细粒度表示、计算和更新成为一个非常有挑战性的研究课题。本论文拟针对推荐系统中的用户细粒度兴趣进行研究,研究的主要内容包括以下三个方面:(1)针对用户兴趣的混合性和动态性,本文研究了隐式的用户兴趣动态表示模型,提出了对偶兴趣激活网络,建模用户兴趣和物品属性之间的协同交互关系,突出了用户和物品之间的相互影响。强调了交互邻域的重要性,研究了面向待推荐物品的用户兴趣动态匹配,并将用户历史记录中的个性化兴趣和物品历史记录中的多样属性编码到用户和物品的表示中。针对特定的用户-物品对,设计了动态的兴趣激活模块,实现用户兴趣和物品属性的动态编码与匹配。(2)针对用户兴趣的多样性建模问题,本文研究了显式的用户兴趣语义表示模型,利用知识辅助可解释的用户细粒度兴趣建模,提出了多关系属性匹配模型,实现在多个物品属性空间下的用户-物品的匹配。考虑到用户兴趣与物品属性的强相关关系,在知识关系的引导下,建立多个属性空间分别挖掘用户兴趣,实现细粒度的用户兴趣建模。进一步设计自适应融合模块度量各属性空间在用户-物品匹配交互预测的作用,同时为推荐列表提供一定的可解释性。(3)基于上述两项研究成果,本文进一步设计并实现了基于用户细粒度兴趣的个性化书籍推荐系统,具备用户兴趣计算、可视化、智能书籍推荐、用户反馈等功能。系统运行流畅,符合实际应用需求,具备良好的应用前景。综上,本文以用户细粒度兴趣为研究对象,首先基于用户的历史交互信息,研究面向待推荐物品的用户兴趣动态激活;其次借助外部知识辅助,采用知识图谱中丰富的信息关联,引导用户细粒度兴趣建模,提升用户兴趣表征以及推荐列表的可解释性,最后构建基于用户细粒度兴趣的个性化书籍推荐系统。
细粒度服装图片检索研究
这是一篇关于细粒度,服装图片检索,代价敏感,非平衡的论文, 主要内容为随着服装电商平台的蓬勃发展,如何在庞大的服装图片数据库中检索到与用户需求相关的图片是一个具有挑战性的问题。深度学习技术在众多领域的强大表现使得基于深度神经网络的服装图片内容检索得以快速发展,但目前基于整体图片内容的检索方式属于粗粒度图片检索,难以满足服装丰富的细节特征等相关检索需求,如何从更精细的粒度进行服装图片检索以更精准地满足用户需求是一个非常有意义的研究课题。本文聚焦于细粒度服装图片检索,提出了联合关键点检测和服装属性预测的深度网络模型,解决服装图片细粒度特征提取的难题,并设计代价敏感的损失函数,处理服装图片数据集的类别、属性分别不平衡的问题;进而设计与实现了基于上述算法的细粒度服装图片检索原型系统并做了一系列的实验和分析验证系统的可行性。具体工作包括:(1)提出了基于代价敏感的细粒度服装图片检索算法。该方法综合利用深度神经网络模型进行关键点检测与服装属性预测,结合代价敏感的损失函数和K-Means聚类,提高了服装图片在数据集分布不平衡下检索准确率和检索的速度。所提出的深度卷积网络模型结构由四个卷积网络子模块组成,分别为主干网络、关键点检测、服装属性识别、Rio Pooling等模块;主干网络模块使用了适合用于图片分类和定位的VGG16(Visual Geometry Group)网络模型;Rio Pooing模块利用关键点检测模块提供的服装图片关键点位置信息,把VGG16输出的主干特征切割为服装图片关键点位置的细粒度特征;网络模型通过代价敏感的损失函数进行训练,削弱训练数据集的服装图片属性分布不平衡对检索模型的不利影响。在实验与分析中,以Fashion Net作为基准网络模型通过损失函数的消融实验、细粒度服装图片检索等实验验证所提出算法有效性。实验数据中各项性能指标提升了3%左右。(2)设计与实现了基于代价敏感的服装图片检索的原型系统。介绍了原型系统开发所使用的开发工具与平台、系统原型架构、图形交互界面等,并通过一系列的实验和分析,验证了基于代价敏感的服装图片检索原型系统的有效性。其中实验部分包含了使用不同方法提取图片特征的对比实验、使用K-Means聚类方法加速检索对比实验、使用Cosine距离与欧式距离对比实验、在整体数据集与部分数据集上的对比实验。
细粒度图像识别与分类算法研究
这是一篇关于细粒度,深度学习,人脸识别,注意力,残差的论文, 主要内容为细粒度图像人脸识别是计算机视觉领域中的一个重要的研究方向,细粒度图像识别区别于一般级别的基于对物体形态的识别,是基于特定细节的比较,细粒度图像的类别精度需更细致,通过细微的物体局部差异有效的区分不同实例;人脸识别难点在于子类的视觉差异细微,且易被众多因素干扰,在视觉的不同面视觉相似度极高的条件下,挖掘细微的图像差异,对图像进行的正确分类。未经专业训练的人士很难做到细粒度分类,因此细粒度图像的识别与分类在以后的人脸图像精细处理方便的作用将无可估量。首先:人脸图片类内差异大,类间差异小,不同的环境、表情、年龄等干扰因素下模型对个体识别的性能差异显著,如何减少内部变化、扩大外部差异获取高表征力的特征表示是首个主要任务;其次:训练过程参数过多导致训练效率低下,大多数情况模型读取的是静态二维图片,一张256×256的RGB彩色图就有196608个数字,因此如何加快网络模型的收敛过程是另一主要任务。针对以上内容提出了一种基于通道注意力模块的多尺度特征融合残差神经网络(Channel Attetion MultiScale Fusion,CAMF-Res Net)。本文的主要工作如下:(1)针对主流分类模型提取的顶层特征在识别精度上的严重损失,并且网络的加深导致收敛能力降低不利于训练,基于以上问题采用残差块解决网络的加深导致的错误率上升和收敛性降低的缺陷。(2)搭建多尺度特征金字塔融合残差网络,提取特征金字塔提取不同层次的特征进行信息融合,然后融合不同尺度的特征,来获取更强有力的描述性信息,并且残差结构的特性决定了即便是深层次的网络也能减少关键信息的丢失且计算参数大大减少,避免了网络训练速度随着网络深度加深严重迟缓的缺陷,最终的特征表示大幅提高图像表示的性能。(3)针对使用随机递减算法训练网络模型时需要大量手动设置的参数,提出嵌入高效的BN层模块以解决上述问题。通常在添加到每个网络层的Re LU激活单元之前,对从每个层提取的特征映射进行正则化处理,然后执行非线性映射操作,以加速网络模型的训练收敛过程。(4)在端到端网络特征提取中,利用通道注意机制提取相应的高阶特征表示,多通道的注意力权重在批量归一化的基础上经过卷积池化等操作得到描述能力强的图像表示,最后多尺度特征表示与注意力融合后得到的高层特征表示可用作图像分类。实验结果表明,本文方法能有效解决深层网络退化和参数过多的缺陷,提高对细粒度人脸图像判别性区域的精细化能力进而提高模型分类精度以获得更高描述性信息的特征表示。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工坊 ，原文地址：https://m.bishedaima.com/lunwen/48025.html
