基于元学习的少样本图像识别方法研究
这是一篇关于深度学习,图像识别,元学习,嵌入模型,融合权重的论文, 主要内容为图像识别是目前热门的研究方向。例如,所使用的人脸识别、车牌识别、行为识别等都需要图像识别技术的支持,因此,对图像识别领域的研究具有重大意义。早期关于图像识别的研究使用机器学习的方法,通过机器学习模型提取图像特征并对图片进行分类。随着大数据时代的来临,深度学习开始兴起。深度学习采用复杂的神经网络,通过多层的网络结构更有效的提取图片特征。但是,即使传统的深度学习方法在图像识别领域取得了不错的成果,不过模型前期的训练需要大量标注的数据,同时训练的模型也只能在所见到过的任务上取得较好的效果,在面对一个新任务时,模型所表现出的泛化性能较差。并且,在对模型所提取出的特征进行识别时,多数方法只关注了模型顶层的语义信息,而忽略了底层的纹理信息。因此,针对以上问题,对基于元学习的少样本图像识别方法展开研究,同时,针对网络输出特征单一和未充分利用模型各阶段输出的样本特征问题,对特征融合方法进行研究。本文的具体工作内容为:(1)针对传统深度学习方法在进行图像识别任务时依赖大量标注数据、模型泛化性能弱的问题,采用了基于分类器度量样本特征的元学习算法。同时,在进行图像识别时,针对网络模型单层输出特征所包含图像信息单一以及对模型各层输出特征利用不充分的问题,提出了一种基于维度的非线性特征融合方法,充分利用了嵌入模型底层所输出的纹理信息和高层所输出的语义信息,进一步提高了元学习的图像识别性能。(2)在对嵌入模型各个阶段输出的特征进行融合时,由于不同阶段的输出特征对分类器影响不同,因此在进行特征融合时各阶段的特征所占融合权重大小也是不同,如何确定融合权值进而达到最优的图像识别精度是一个关键问题。针对该问题,首先采用固定特定阶段特征权值的方法,确定出对分类器性能影响最大的模块特征,并结合元学习快速适应新任务的特点,采用一种改进的粒子群优化算法,对融合权值进行自适应优化,有效提升了元学习的图像识别准确率。(3)为验证所提基于元学习和自适应特征融合权重优化算法的有效性,在多个少样本图像识别数据集上进行应用和验证。将算法在数据集上进行实验,针对所提的融合方法和优化算法进行多个对比实验,进一步验证了所提方法的优越性能。同时,在FC100数据集上,方法在1-shot策略下比原来的基准提升了1.56%,在5-shot上提升了3.07%。在mini Image Net数据集上,所提方法在1-shot策略下的识别精度达到了62.55%,在5-shot上达到了80.57%,均超越了原来的识别基准。
面向故障诊断的小样本知识抽取系统设计与实现
这是一篇关于小样本学习,知识抽取,元学习,主动学习的论文, 主要内容为从机械装备系统故障文本中抽取结构化知识有助于搭建故障知识获取、故障原因诊断和装备维修保障任务之间的桥梁,进而将结构化的故障知识推送到合适的维修场景中,避免大量的人力成本和高昂的维护成本。由于机械装备故障发生概率较低,样本难以获取,且传统知识抽取模型在训练样本匮乏时性能较差,因此适合采用小样本学习方法。面向机械装备故障小样本知识抽取任务,针对基于元学习的知识抽取方法、基于域适应的知识抽取方法和基于主动学习的知识抽取方法展开研究,分别解决小样本场景下的同域、跨域、分类性能提升等问题。主要研究成果如下:第一,基于元学习的知识抽取方法。目前应用在NLP领域的深度学习方法在目标域小样本场景下泛化性能并未有明显提升,在测试样本与训练任务特征空间分布距离较大时还会导致模型过拟合。本文针对同域知识抽取任务提出基于元学习的知识抽取方法,在编码阶段融合分布特征以及词汇特征,同时采用平行协同注意力机制提取高维语义特征并修正噪声对分类的影响,之后基于欧式距离度量量化特征向量相似性。第二,基于域适应的知识抽取方法。当源域数据与目标域数据边缘概率分布不同时,现有方法缺乏针对源域、目标域空间分布对齐的探索。针对跨域知识抽取任务,提出基于域适应的知识抽取方法,该方法以截断奇异值分解的形式聚合支撑集关系级别的特征并进一步通过投影映射的方式进行距离度量。同时设计了一种带有平面修正因子的辅助函数,其通过放大平面间距以优化模型分类过程。第三,基于主动学习的知识抽取方法。受训练样本量限制,小样本知识抽取模型易达到性能瓶颈。针对该场景提出基于主动学习的知识抽取方法,结合概率总体均方差来选择最具有分类贡献度的样本,同时聚合字符级特征以及样本级特征。该方法不仅与模型解耦,还能减少样本序列长度对知识抽取的干扰。最后基于上述三个算法,设计并实现了面向故障诊断的小样本知识抽取系统。该系统可以从多维故障源中获取和持久化存储文本数据,覆盖同域、跨域、分类性能提升等场景知识抽取任务,同时进行命名实体、实体关系和知识三元组等结构化知识的可视化展示,推动机械装备故障领域大规模知识库的构建。
基于元学习的小样本文本分类研究
这是一篇关于小样本文本分类,元学习,领域自适应,注意力机制,微服务的论文, 主要内容为随着近年来深度学习的蓬勃发展,在自然语言处理领域,基于深度学习的文本分类算法已经取得了很好的分类效果。不过目前基于深度学习的文本分类算法往往需要大量标注数据才能得到较好准确率,而在一些特殊领域,训练数据不足是一个不可避免的问题,数据的收集非常复杂与昂贵,这使得建立一个大规模、高质量的带标注数据集变得非常困难。因此,小样本文本分类问题成为了当前研究的一个热点。本文首先对当前小样本文本分类问题中,重要的带标注数据集规模小的问题做了深入的研究,结合领域自适应等方法,提出了新的元学习框架下的小样本文本分类模型,该模型能够识别重要的词汇特征以快速提高在小样本文本数据集上的适应性与分类准确率。之后针对部分小样本数据集标注质量不高、存在噪音的问题,本文在原型网络的基础上引入了独特的注意力机制以减小噪音带来的影响,尽可能地提高在噪音环境下的分类准确度。并通过对比实验、消融实验等科学方法,验证了本文所提出两个小样本文本分类模型的有效性。同时开发了一个小样本文本分类原型系统,基于微服务架构,保证了该系统的鲁棒性、可用性和易拓展性。具体研究内容与贡献如下:1.提出元学习框架下的领域自适应网络MLADA。全称为元学习框架下的基于对抗性领域自适应网络MLADA,该模型利用两个相互竞争的神经网络,分别扮演领域判别者和元知识生成者的角色,通过对抗性网络来加强元学习框架对新数据集的适应性。此外,该模型还将元知识生成器产生的可转移的特征与句子的特定特征结合起来,来迅速产生在训练数据中未见过的高质量句子表征向量,最后使用岭回归来获得最终的分类结果。2.提出基于动态原型网络的DAPROTO模型。该模型主要用于带噪音情况下小样本文本分类任务。该模型在基于度量的元学习模型原型网络的基础上,加入了两个注意力机制,一个是粗粒度注意力,突出那些与分类类别相关的词汇,另一个是细粒度注意力,缓解特征稀疏的问题,使得模型能更好地减少噪音带来的影响。3.设计并实现了一套基于微服务架构的小样本文本分类原型系统。该系统基本实现了小样本文本分类问题相关的大部分功能,如数据采集、数据预处理、模型训练、模型管理,并提供了数据集生成、在线小样本分类等功能。该系统使用了微服务架构,每个微服务之间相对独立,部署时可以运行在不同的服务器上,业务上又可以保持数据、信息的交互,以此来保证该系统的高扩展性与稳定性。综上所述,本文研究小样本文本分类问题,提出了两个基于元学习框架的文本分类模型,实验结果表明,这两个模型分别在规模很小与带噪音的小样本文本数据集上取得了很好的文本分类效果。此外,本文还结合微服务架构,开发了一个小样本文本分类原型系统。
基于强化学习的小样本知识图谱路径推理研究
这是一篇关于小样本知识图谱,路径推理,知识表示,强化学习,元学习的论文, 主要内容为随着互联网技术的发展和各行业领域信息化的普及,网络中数据信息的数量和种类不断增多。知识图谱作为一种大规模的语义网络结构,具有丰富的语义信息和关联信息,可以将网络中繁杂的数据进行有效的存储和表示,并通过对知识的组织运用提供高效的智能信息服务。而现有的知识图谱普遍存在的知识缺失的情况,严重影响了知识图谱的下游应用效果。如何自动化的对知识图谱中缺失的知识信息进行推理,完成知识补全工作,是现阶段知识图谱领域的一个热点研究方向。目前,大多数的知识图谱中的关系相对稀疏,特别是应用在特定场景的知识图谱数据集中知识样本数量较少,进一步增加了知识图谱推理的难度。对此本篇文章开展了基于强化学习的小样本知识图谱路径推理的研究,结合知识图谱嵌入、强化学习和元学习等技术,提出并构建了一个路径推理模型,实现了小样本知识图谱推理功能。构建模型主要包含三个部分:第一,针对知识图谱的路径推理问题,将路径推理任务建模为马尔可夫决策过程,构建了一种适用于特定应用场景的知识图谱强化学习推理框架。同时,采用改进的Rotat E嵌入模型对知识图谱的实体和关系信息进行表示,提高了推理模型的表示性能和扩展性。第二,针对小样本知识图谱数据稀疏的问题,采用了动态添加预测信息的方法,在小样本知识图谱的推理过程中动态的补充路径搜索信息,加强了模型对小样本数据的敏感程度,提升了模型决策的有效性,减少了小样本数据推理过程中因数据缺失带来的误差。第三,针对模型训练效率不高的问题,采用LSTM(Long Short-Term Memory)网络和多层感知器构建了路径推理模型的策略网络。通过在强化学习策略网络中增设元学习训练过程,为策略网络提供一个较好的初始化参数,使模型可以更好地学习和推理小样本知识图谱的路径信息。为验证路径推理模型的有效性,实验部分在小样本知识图谱数据集上对模型进行了训练,完成了相关对比和消融实验。实验结果表明相较于其他推理模型,本篇文章的路径推理模型在小样本数据集上具有较好的准确性,验证了信息预测和元学习策略网络在处理少量关系样本的推理任务时的有效性,为进一步实现小样本知识图谱数据集的补全工作提供了方法。
面向少样本的图像分类方法研究
这是一篇关于少样本学习,图像分类,元学习,增量学习的论文, 主要内容为目前,大多数神经网络的训练依赖于庞大的数据集,事实上,由于现实场景的复杂性和数据隐私性,在某些特定任务中,难以收集足够多的样本。比如医疗、军事领域涉及数据隐私问题,工业、农业异常样本数量有限,获取足量数据较为困难。这些少样本问题非常广泛,研究少样本分类、检测等任务具有重大意义。在少样本分类任务中,样本数据量不充足,网络训练难度远高于普通图像分类任务,新类识别准确率亟待提高。本文针对少样本情况下如何提高图像分类识别准确率的问题进行研究,主要内容如下:1.针对样本数量稀少的问题,构建了基于元学习的少样本分类网络模型,设计带有归一注意的少样本分类元网络NAM Net。此方法利用元学习范式“学会学习”的特点,根据可靠元知识完成新类预测,判定未知样本所属类别。整个元网络的学习过程分为元训练和元测试两个步骤。首先,在元训练阶段,元学习器学习特征提取和相似性度量模块最佳参数。支持图像和查询图像经特征提取得到特征图,通过可学习的度量函数得到二者之间的距离,进而得出分类结果。其次,在元测试阶段,基学习器将元知识迁移到目标类别,在新的少样本情景下进行分类。此外,为了突出样本显著特征,增强元知识的代表性,该网络在特征提取模块中引入归一化的注意模块。实验表明,本文提出的元分类模型具有有效性,相对于少样本学习基准与主流基线方法,NAM Net在5类-1样本和5类-5样本分类任务中取得了更高的准确率。2.针对新增未知样本的少样本分类问题,构建了基于类增量学习的少样本分类网络模型,设计了带有可扩展空间的类增量网络EFR-INet。此方法利用增量学习持续不断学习的优势,使得分类器在保持当前性能的同时,对新图像完成类别判断。面向少样本场景,基类样本作为已知样本数据,后续新类以增量数据的方式输入网络,特征空间根据样本输入情况及时更新每类样本的平均特征表示,增量地存储所有已知类别特征。对于查询样本,度量分类判别模块计算其与已知类别的类间距,由最小类间距推出目标类别所属样本。实验表明,EFR-INet表现出良好的新类分类能力。
基于元对比学习的冷启动推荐算法研究
这是一篇关于冷启动推荐,元学习,对比学习,异构图的论文, 主要内容为随着互联网的发展,信息过载问题也越来越严重,能够帮助用户过滤大量的信息找到合适内容的推荐系统也变得越来越重要。但是当新用户和新内容加入系统时,冷启动问题也随之出现。传统的推荐算法通常需要大量的交互历史来进行训练,但是在冷启动场景下用户交互历史数据非常的稀疏,传统的推荐算法无法学习到准确的向量表示,也会因为缺少足够的监督信号而产生严重的过拟合问题。目前缓解冷启动问题的方法主要分为数据角度和模型角度两类。基于数据角度的方法主要通过挖掘更多的可利用信息来缓解冷启动问题。最近,基于异构信息网络的方法由于能够提供丰富的辅助信息而备受关注。然而,在缺少监督数据的情况下,模型无法准确的利用异构图上挖掘到的大量信息,生成的用户和内容的向量表示不够准确,导致推荐结果准确率下降。针对以上问题本文设计了一个异构图多角度对比学习信息挖掘模型来有效的利用异构图上的丰富信息,本文首先通过利用多角度的元路径携带不同信息的特点设计更有效的正负例生成方式,之后对比学习在小数据情况下指导模型更精准的利用用户和内容最相关的特征信息,生成更准确的向量表示,提升推荐模型预测准确度。同时最近的一些研究也尝试从模型角度缓解冷启动问题,元学习模型通过共享所有用户的知识为当前用户构建可以利用的先验知识来缓解冷启动问题。大多数现有的元学习算法都假设先验知识可以在所有用户之间全局共享,然而在兴趣差别巨大的用户之间进行信息共享是无效的并且会带来负面的效果,这导致了模型的次优解。为了解决上述问题,本文提出了基于聚类的元学习算法,尝试仅在具有相似兴趣的用户之间进行细粒度的知识共享。本文首先提出了冷启动场景下的用户聚类方法,然后利用用户的类别信息设计了一个转换网络,将通过元学习方法学习到的全局初始化参数转换为类最优初始化参数。通过这种方式可以按照用户的相似度进行不同程度的信息共享,减少偏好差异较大的用户之间信息共享带来的负面影响,提高元学习模型的性能。为了验证元对比学习模型算法的有效性,本文在MovieLens和DBook两个数据集上进行实验。相比于主流算法(MELU)其中MovieLens中用户和项目冷启动场景下,mae下降11.2%;rmse下降7.8%;ndcg上升2.2%。DBook中用户与项目冷启动场景下,mae下降13.3%;rmse下降13%;ndcg上升6.6%。元对比学习模型算法在多数据集多种指标上都有明显提升。
基于元学习的小样本图像分类算法研究
这是一篇关于小样本学习,元学习,注意力机制,度量学习,优化学习的论文, 主要内容为随着科技的发展,深度学习已经在各个方面取得了显著的成功,但日常工作中的很多场景仍存在样本数不足、数据采集和标注困难的问题,在这种情况下,解决小样本学习问题刻不容缓,如何让模型在缺乏样本的条件下具备快速泛化的能力成为研究者关注的重点。本文基于元学习更新策略,对小样本图像分类问题进行研究。本文主要研究内容如下:(1)针对小样本学习的样本量较少,可用特征就相对较少,以往的小样本算法较少考虑特征重用;在大模型上进行图像分类时,网络参数要随着训练而进行更新,所涉及更新的参数量较大,在更新任务较多时,还可能会造成最开始学到的知识遗忘等问题。提出了一种基于深度元迁移学习的小样本图像分类方法,所提方法利用迁移学习和注意力机制的优势,实现在只使用少量标记训练数据的情况下,帮助深度神经网络更快地收敛,同时降低网络过拟合的可能性。通过引入通道注意力机制,建模各个特征通道的重要程度,针对不同的任务增强或者抑制不同的通道。“迁移”意味着深度网络在大规模数据上训练的权重可以通过两个轻量级神经元操作用于其他任务:缩放和平移。“元学习”是指这些操作的参数可以被视为在少量学习任务上训练的超参数。(2)小样本图像分类的目的是使用有限数量的标记样本准确地分类以前未见过的类别。然而,由于每个任务的数据可用性有限,选择一个有效的初始嵌入网络至关重要,并且最终分类度量距离的选择也会对分类精度造成影响。针对以上问题提出了一种基于深度互信息元度量学习的小样本图像分类方法。利用自监督学习策略最大化每个图像独立区域提取的特征之间的互信息,和最大化多个特征尺度之间的互信息,得到良好的特征提取网络。与采用神经网络的传统分类器不同,本方法采用一种简单的基于类协方差的马氏距离度量方式实现分类,减轻了网络复杂程度,避免欧式距离产生的诸如特征不相关、具有一致的方差以及对类样本相对于原型的分布不敏感等问题。本文在Omniglot、mini ImageNet、FC100和tiered Image Net数据集上进行了验证,同时也对实验结果进行了深入分析和进一步的探究思考。实验结果证明,本文所提出的模型在常用数据集上的分类性能得到了进一步的提升。该论文有图33幅,表9个,参考文献75篇。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头网 ，原文地址：https://m.bishedaima.com/lunwen/48552.html
