7篇关于多头自注意力的计算机毕业论文

今天分享的是关于多头自注意力的7篇计算机毕业论文范文, 如果你的论文涉及到多头自注意力等主题,本文能够帮助到你

基于ViT的多视图图像分类方法研究

这是一篇关于多视图,图像分类,视觉Transformer,多头自注意力的论文, 主要内容为在数字科技的推动下,文创产业与人工智能、大数据等数字科技相结合,逐渐形成了数字文创生态。当下,文创产业数字化制造过程需要加强对文化创意设计的保护,创意设计通常是针对立体对象外观而言由多个视图图像描述,由此针对创意设计的多视图图像分类方法的研究应运而生。传统的单视图图像分类方法难以描述立体对象各视图之间的关系,而多视图图像之间往往具有更多的空间位置信息,可以通过利用图像之间的关联关系进行高效分类,因此如何有效的识别并分类出多视图图像对应的物体是一项值得研究的课题。本文从多视图图像分类方法进行展开研究,论文主要工作有以下几个方面:(1)本文在基于多头自注意力的多视图图像分类方法中,首先提出了一种基于视图的自注意多视图卷积神经网络(Multi-View Convolutional Neural Network based on SelfAttention,MVCNN-SA),通过利用视觉Transformer(ViT)模型中的多头注意力机制评估不同视图之间的相关性,构建单独使用多头自注意力模块的网络模型。然后提出了一种基于深度卷积ViT多视图图像分类模型(Multi-view image classification model based on depth-wise convolution Vision Transformer,MViT),通过利用ViT架构及其多头注意力具有捕获全局特征的特性,解决了关于CNN多视图分类模型难以感知图像间的空间位置关系问题。同时由于ViT缺乏归纳偏置,导致对图像块的局部特征捕捉能力较差,通过在模块中引入深度卷积机制构造基于深度卷积的ViT模块DViT(Depth-wise convolution ViT module)捕捉其局部特性。为了进一步扩大不同样本的间距,缩小同一类样本的特征表达间的间距,引入了对比损失,从而进一步改善模型的分类效果。(2)本文在基于小波变换与全局滤波模块的多视图图像分类方法中,首先提出了一种基于全局滤波模块的ViT多视图分类模型(Multi-view image classification model based on the Global filtering Vision Transformer,MGViT),通过利用傅里叶变换能够学习频域中空间位置间相互作用的特性设计了一种全局滤波模块,利用位置编码和作用在频域上的傅里叶变换挖掘图像内部长距离依赖关系,遵循ViT没有设置归纳偏差的原则,将模型复杂度降低到对数线性复杂性。然后提出了一种联合小波变换的ViT多视图图像分类模型(Multi-view image classification model with joint Wavelet-mix Vision Transformer,MWViT),利用小波分解具有下采样的特性,实现特征图池化,从而能够有效减少特征信息的丢失,混合小波模块将小波分解的三个细节高频分量进行拼接融合再与低频分量拼接,最后在MGViT模型基础上通过融合策略实现整体模型同时能够学习空域特征和频域特征。本文实验在公开数据集Model Net40/10以及广东省知识产权大数据重点实验室的外观设计专利数据集Patent-MNIST上进行了分类任务和消融实验,结果表明了本文方法的有效性。

融合多头自注意力和实体特征的远程监督关系抽取

这是一篇关于关系抽取,远程监督,多头自注意力,实体特征的论文, 主要内容为关系抽取作为自然语言处理领域中一项重要的基础任务,目的是判断出文本语句中实体对之间存在的语义关系,在知识图谱、智能问答等应用领域中发挥着重要的作用。传统的基于有监督的关系抽取方法完全依赖人工标注来获得训练语料,需要花费大量的时间,消耗大量的人力资源,因此,通过自动标注来获取大量语料的远程监督方法逐渐成为关系抽取任务的热点。远程监督的前提假设是:如果在知识库中的一个实体对存在某种关系,那么所有包含有这个实体对的文本句子都表达着这种关系。基于这种假设,通过远程监督可以在短时间内构建大量的训练语料,但无法避免其产生的错误标注的问题,导致数据集中存在大量噪声。如标注句子内部存在大量和关系表示无关的噪声词,影响了神经网络模型获取句子语义表示的准确性。另外,现有的采用句子级别注意力机制的关系抽取模型直接以包含大量噪声的实体关系标签为依据,难以合理地分配不同句子对于最终关系预测的贡献度。面向以上挑战,本文提出了相应的解决方案,主要的创新点和贡献如下:(1)提出了一种融合多头自注意力机制的关系抽取模型,通过卷积操作提取文本特征之后,采用多头自注意力机制来降低句子内部无关噪声词对于句子表示的负面影响,不仅得到了更优的句子语义表示,而且避免了关系标签噪声对于词注意力分配的影响。(2)基于以上关系抽取模型,进一步融合实体的特征信息,提出了一种融合实体特征的关系抽取模型。基于知识表示学习Trans E算法的思想,本文在选择不同句子生成实体包特征时,将句子中头、尾实体经过双线性变换后的实体隐含语义表示作为依据,使用缩放点积注意力来动态分配不同句子对于最终关系预测的贡献度,过滤了大量实体关系标签噪声,进一步缓解了远程监督噪声数据带来的不利影响。另外在网络的输入层,除了常用的词向量和位置向量外,额外加入了命名实体特征和核心实体词特征,进一步丰富了句子的输入表示,有助于模型获取更多的有效特征。本文围绕远程监督关系抽取任务,在降低远程监督噪声影响方面提出以上研究方法,并进行了详细全面的实验。在经典数据集NYT-Freebase上的实验结果表明:相较于基线模型,本文提出的方法更具有优势,进一步提升了关系抽取的性能,在AUC值的表现上,本文方法达到了38.2%,相较于PCNNs+ATT模型提升了4.1%,相较于BGWA模型提升了2.2%,验证了提出方法的有效性。

基于ViT的多视图图像分类方法研究

基于实体特征的远程监督关系抽取研究

这是一篇关于关系抽取,远程监督,实体特征,多头自注意力,增强实体表示的论文, 主要内容为步入大数据时代,互联网涌现了海量的文本数据,其中蕴含了许多有价值的关系事实。作为信息抽取的子任务,关系抽取具备知识凝练能力,识别出非结构化文本中指定实体间的关系,将其组织成结构化的数据形式,应用于知识图谱补全和智能问答等领域。有监督关系抽取受限于小型训练数据,并且依赖繁琐耗时的人工标注方式,难以完成大规模数据的构建。远程监督方法提供一种自动标注方案,用一种对齐方式串联知识图谱和文本数据,自动获取大规模语料,逐渐成为了关系抽取的研究热点。然而,远程监督方法虽能扩展数据规模,但是由于标注策略考虑不全,导致错误标注的出现。因此,在远程监督关系抽取中,大部分研究的重点在于降噪,即设计鲁棒的模型来降低噪声数据的影响,提升关系抽取性能。基于上述问题,本文聚焦于实体特征,结合神经网络模型,探究文本中蕴含的实体关联语义。本文工作主要包括以下方面:(1)为了增强模型规避噪声特征的能力,提升远程监督关系抽取性能,本文提出实体感知增强的门控分段卷积神经网络(Gated Piecewise CNN with Entity-Aware Enhancement,EA-GPCNN)。在关系抽取中,每个词和头尾实体之间存在语义依赖,EA-GPCNN采用两层多头自注意力网络来建模这些语义依赖,最后获得实体感知增强的词表征向量。然后,EA-GPCNN使用一个全局门结构,将全局上下文信息集成到每个增强词表征向量,作为PCNN的输入。由实体位置分割的三个段对关系判别的贡献是不同的,EA-GPCNN提出一个段级别的门控机制,对三个分段进行贡献度计算,强化关键段的作用,弱化无关分段的影响。在远程监督关系抽取中,EA-GPCNN有效地建模句子表示,提升关系抽取性能。(2)为了解决困扰选择性注意力的单句包问题,本文提出实体引导增强特征网络(Entity-Guided Enhancement Feature Network,EGEFN),用于远程监督关系抽取。本研究从具体实例发现,关键关系特征通常蕴含于重要的词和短语中,并可通过实体指导来抽取这些特征。EGEFN首先提出实体引导注意力,依次从单词和短语两个层次出发,计算其与头尾实体的相关性,指导模型关注关键词和短语,捕获重要的关系特征,然后将其用于增强实体表示。随后,两个多级增强的实体表示通过线性层转化为鲁棒的关系表示。然后,EGEFN采用语义融合层来融合多种语义表征,例如PCNN编码的句子表示、多级增强实体表示以及关系表示,来获得最终的增强句子表示。最后,EGEFN引入关系度量聚合门,以鲁棒的关系表示与句子的相关性为度量,聚合所有句子特征,以生成一个包表示。在单句包的情况下,EGEFN能实现稳定的关系分类。

基于深度学习的跨域序列推荐算法研究

这是一篇关于多头自注意力,共享账户推荐,跨域推荐,序列建模的论文, 主要内容为近年来,随着计算机技术和互联网络的飞速发展,信息系统在方便人们交流和沟通的同时,也因为海量信息的产生而受到信息过载问题的严重困扰,因此,可以为用户进行信息过滤和筛选的个性化推荐技术便应运而生。推荐系统的主要任务是依据用户过去的行为记录,在建模他们兴趣的基础上,发现用户潜在需求,一方面可以帮助用户发现他们可能感兴趣的项目;另一面,也使得相关项目可以展示在对应的用户群体面前。所以,推荐系统不管是对于项目的生产者还是对于项目的消费者而言,都具有重大的应用价值。目前,推荐系统已经受到了各行各业和广大研究者们的广泛关注,并取得了极大的成功。目前的推荐系统大多数都是停留在依照用户在本领域的历史记录建模用户兴趣,却忽略了用户会在多个不同的域上产生行为的本质特征,因此借助多个领域的数据建模用户兴趣的跨域推荐成为了近几年的研究热点。本文研究的基于深度学习的跨域推荐系统主要是依据用户的行为序列建模用户偏好即跨域序列推荐。本文中的跨域序列推荐综合考虑了共享账户和跨领域两种情况即共享账户跨域序列推荐(SCSR),SCSR任务主要是面临两个方面的挑战:(1)共享账户里的多个用户的历史记录是混合在一起的,并且难以区分开。(2)用户的行为在多个领域上产生,用户在不同域上对于不同项目的消费可以反馈出用户相似的偏好。本文具体研究内容如下:首先,提出了基于循环神经网络的跨域序列推荐算法(RCRM)。RCRM模型同时考虑了共享账户和跨域两种情况,假设共享账户里的用户具有相似偏好,借助循环神经网络对共享账户整体进行兴趣表示,并且针对跨域问题提出了一种多层的交叉映射感知网络(CMPN)来实现不同域之间的账户信息传输,达到可以同时利用多个域的信息,以提高目标域的推荐质量的目的。接着,提出了基于自注意力网络的跨域序列推荐算法(SCRM)。对于SCSR任务中的共享账户情况,SCRM模型引入了The Transformer模型中的多头自注意力网络来建模共享账户中的多个用户。对于SCSR任务中的跨域情况,本文在前面提出的CMPN基础上进行了改进,提出了提升版的跨域传输网络即ICMPN,以更好的挖掘用户在不同域上的兴趣,更加充分地利用用户在不同域上的信息,进一步提高了目标域的推荐质量。最后,本文在HVIDEO数据集和HAMAZON数据集上进行了详细的实验对比与分析。与其他几个相关方法相比,我们提出的方法能在MRR和Recall两个评价指标上取得更好的推荐结果。

基于信息融合的商品推荐算法的研究

这是一篇关于混合推荐算法,自编码器,多层感知机,压缩交叉网络,多头自注意力的论文, 主要内容为随着电子商务的发展,商品推荐已经成为电商平台中的一个重要问题。目前,商品推荐系统的核心在于如何通过海量的用户行为数据和商品信息,为用户提供个性化、精准的商品推荐。然而,由于数据稀疏性和特征组合的问题,推荐系统面临着许多挑战。传统的推荐算法主要是基于协同过滤的方法,其准确率和鲁棒性受到了很大的限制。因此,研究新的推荐算法已成为当前研究的热点之一。信息融合是一种重要的解决方案,其旨在将多个数据源融合在一起,以提高推荐系统的性能和性能。本文旨在研究基于信息融合的商品推荐算法,通过融合不同的特征,提高推荐系统的性能。主要研究点如下:1、针对推荐系统中的数据稀疏性问题,本文提出基于历史交互行为信息和属性辅助信息的推荐模型。模型采用双自编码器对评分矩阵实现降维处理,通过自编码器隐藏层,得到用户和物品的隐表示特征;模型使用词嵌入向量和卷积神经网络对商品文本的前后信息加权处理,突出表示关键位置信息,提高提取文本特征的效率;模型利用深度神经网络,从用户和商品高维度的属性信息中挖掘到更稠密的特征表示。最后,模型通过多层感知机实现所有特征融合后的深度特征交互学习,以提高评分预测的准确性。2、针对推荐系统中的特征组合问题,本文提出基于多头自注意力的点击率预估模型。模型采用分组交叉和卷积式特征压缩方法,以向量级的显示方式学习高阶特征交叉信息。其次,在特征交叉模块中,残差连接将原始输入向量与多头自注意力网络生成的特征表示融合,输出有意义的高阶特征交互。最后,通过激活函数对融合后的输出特征进行估计,得到最终的点击率预估结果。该混合推荐模型利用了逻辑回归模型、压缩交叉网络和多头自注意力网络的优势,全面地考虑了不同因素对推荐模型的影响。总之,本文提出了两种基于信息融合的商品推荐算法。实验结果表明,这两种算法都能够显著提高商品推荐的准确度和多样性,为电商平台提供更好的推荐服务。未来的研究方向是进一步探索信息融合的方法,提高推荐算法的效率。