基于零样本学习的显微图像目标识别研究
这是一篇关于医学影像处理,深度学习,零样本学习,图卷积神经网络,图对比学习的论文, 主要内容为显微镜检的检查结果是现代医学诊断的重要依据,但长期以来,镜检主要依靠医师人工检查。人工检查存在操作繁琐、效率低和依赖医生经验等问题,因此以深度学习技术为主的目标识别技术已逐步成为医疗未来发展的新趋势。然而,相较传统的图像处理技术,深度学习方法对大量人工标注的优质训练数据仍存在很强的依赖性,往往带来较高的标注成本。这个问题在医学影像中的显微图像目标识别中更加明显,相较于传统目标识别任务中的自然图像,医学影像中的显微图像样本稀缺、采集困难、目标识别难度大且标注成本更高。最近几年,基于零样本学习的深度学习技术取得了长足的发展,甚至在一些特定任务上的检测性能已经能够与部分有监督训练得到的结果相提并论。因此,本文围绕基于知识图的显微图像零样本目标识别技术开展研究,提出一系列有利于提高识别准确率和减少标注需求的方法。本文主要研究内容如下:(1)提出一种基于自注意力图池化的深度U型图卷积神经网络(GUN-2A),针对深层图卷积网络中存在的拉普拉斯过平滑问题,本文引入一种U型结构的深度图卷积神经网络从图的全局角度进行消息聚合,并提出一种基于自注意力的图池化方法缓解深度图网络带来的过平滑。在ImageNet 21K上的测试结果表明,提出的方法在5个Hit@k指标上均超过基线方法。(2)提出基于拓扑对称对偶知识图的图对比学习方法(CGUN-2A)。针对零样本学习在单一知识图中存在的语义间隔问题,引入额外的CLIP知识图,建立拓扑对称对偶知识图,辅助视觉-语义空间流形的对齐;在前述GUN-2A基础上引入图对比学习范式,提出CGUN-2A,约束类表达,保持类内相似性并扩大类间可分性,缓解领域漂移。实验结果表明,在ImageNet 21K数据集上该方法在全部Hit@k指标下均达到最先进的性能。在缓解偏移问题上,较之前的方法在一般零样本学习和广义零样本学习的设定下,Hit@1相对分别提升33.3%和47.1%。(3)实现基于CGUN-2A的显微图像目标识别算法。建立医学显微图像知识图谱,引入超景深信息和光流信息首次从视觉侧对零样本学习进行优化。在两个医学显微细胞数据集上的实验结果表明,相较先前的方法,本文的方法实现了零样本学习性能的提高,在两个数据集上分别提升0.8%和2.0%。
面向开放类识别的域自适应方法研究
这是一篇关于机器学习,迁移学习,黑箱领域自适应,通用领域自适应,零样本学习的论文, 主要内容为无监督领域自适应(Unsupervised Domain Adaptation,UDA)的目的是利用标签丰富的源域数据来帮助学习没有标签的目标域。此类方法需要获取正确标签的源域数据,然而现实中由于隐私或安全问题,可能只有源域训练完成后的模型接口可用,只能输入目标域数据,得到源域模型输出的伪标签。此类领域自适应场景称为黑箱领域自适应。黑箱领域自适应通常只有一个源域,但在现实任务中通常会有多个源域模型接口,并且源域与目标域间存在标签偏移的问题,即目标域与源域中的类别集合不完全一致。两者共享类别为已知类,非共享类别为私有类。进一步,当目标域数据缺少未知样本却有描述信息时,希望对未知类别进行分类,称为零样本学习(Zero-shot Learning)。因此,本文研究针对上述场景的领域自适应方法进行研究,主要内容包括以下两个部分:首先,提出基于多源域黑箱通用领域自适应方法Um2B(Universal Domain Adaptation from Multiple Black-Box Sources)。该方法首先提出自适应域注意力机制,以寻求源域接口的最佳组合,其性能不比单个最佳接口差。然后,为了解决跨领域的标签漂移,在自适应中采用自适应类注意力机制来抑制源域私有类的影响,最后通过矫正后的伪标签识别目标域未知类并将其与已知类分开。实验表明,该方法并不比最佳单一源差,对基准数据集的实证结果显示Um2B在平均分类准确度不下降的情况下,对未知类有着更好的区分度。其次,提出零样本特征分类双校正领域自适应方法FCDC(Feature Classification Dual Correction)。大多数现有零样本领域自适应方法直接使用单独在Image Net上训练的特征提取模型,忽略了Image Net和广义零样本学习(Generalized zero-shot learning,GZSL)基准之间的跨数据集偏差,这种偏差不可避免地导致GZSL任务的视觉特征质量较差,为此,提出了一种简单而有效的GZSL方法,采用了包含语义的特征细化模块来统一生成模型的可视化映射,从而细化已知和未知类样本的视觉特征。此外,现有的方法大都生成大量的未知类样本,导致分类器偏向部分特征。为此,对分类器进行逻辑调整,以提高泛化性能。
基于生成对抗网络的图像零样本识别方法研究
这是一篇关于零样本学习,图像识别,深度学习,生成对抗网络,图卷积网络的论文, 主要内容为传统图像识别技术通常基于有监督学习方法,在含有大量带标签样本的数据集上训练识别模型。然而,样本的标注往往需要相关领域的专家进行,对人力资源有着极高的需求。此外,传统图像识别技术难以处理待识别目标类别不断增加的问题。基于上述原因,研究者不再满足于使用有监督训练方式学习图像识别模型,提出了零样本图像识别的概念。零样本图像识别技术利用人类对各目标类别的语义描述中所蕴含的知识,将部分含有训练图像样本的可见类上所学习到的知识迁移到没有训练图像样本的未见类。相比传统图像识别技术,零样本图像识别具备跨类别的泛化能力,有着更贴合实际的应用前景。生成对抗网络可以在零样本图像识别任务中的可见类上学习图像样本在语义描述约束下的条件概率分布,利用未见类语义描述生成未见类图像样本,与零样本图像识别任务高度契合。基于生成对抗网络的零样本图像识别方法的研究,是该领域内的一个主流发展方向,但目前依然需要面对诸多挑战性的难题。本文基于生成对抗网络,针对零样本识别中所存在的枢纽点问题、域偏移问题以及语义间隔问题,设计了两种零样本图像识别框架:(1)针对零样本识别中所存在的枢纽点问题与域偏移问题,分别从生成样本的多样性与语义相关性出发,设计了基于双语义重构生成网络的零样本图像识别模型BSRGAN。在BSRGAN中:1)针对生成样本的多样性问题,设计了多聚类中心约束与样本差异性惩罚项,对生成样本的多样性进行增强;2)针对生成样本的语义相关性问题,设计了双语义重构模块,用于计算可见类与未见类生成样本的语义重构损失,提高生成样本的语义相关程度;3)在零样本识别阶段,以双语义重构结构为基础提出了一种视觉-语义识别机制。(2)针对零样本识别中的语义间隔问题,以(1)中方法的基本框架为基础,将依据数据集各类别间的上下位关系所建立的知识图谱引入生成式零样本图像识别中,提出了基于知识图谱小波残差生成网络的零样本图像识别模型KGWRGAN。在KGWRGAN中:1)将图卷积网络作为特征提取工具,结合知识图谱与语义描述提取语义特征,用于生成未见类视觉特征;2)针对生成对抗网络的训练困难的问题,采用小波残差网络结构,作为生成器与判别器中的神经网络结构,该结构以对入口数据进行HAAR小波多级分解的结果作为神经网络中所传输的数据的冗余项。所提出方法在SUN、APY、CUB、AWA2以及Image Net等标准数据集进行实验,选取近十年来突出的算法进行对比,证明了所提出方法的有效性和优越性。所对比算法中,部分算法由于缺乏对应数据集上的试验数据,在对比时对其进行了复现。此外,对所提出方法中的关键参数进行了额外的实验,以验证其影响方式。
基于Swin Transformer的嵌入式零样本学习方法研究
这是一篇关于零样本学习,Swin Transformer,图像分类,特征融合的论文, 主要内容为传统的图像分类任务通常需要使用大量带有标签的数据来训练模型,但在现实生活中,数据的采集和标注十分困难。因此,如何在没有样本的情况下对物体进行识别的零样本学习算法成为研究热点。零样本学习旨在解决样本缺失情况下的分类问题,通过使用类级别的语义信息在可见类与未见类之间建立联系进而实现对未见类的识别。现有的零样本学习算法多使用Image Net预训练的深度卷积网络来提取特征,这种做法忽略了Image Net和零样本学习基准数据集之间分布的不一致性,针对此问题本文采用Swin Transformer作为新的骨干网络,将其应用到零样本学习领域中,输入原始图片利用自注意力机制得到基于语义信息的视觉特征。且在此基础上提出两种嵌入式的零样本学习算法,主要研究工作如下:(1)提出了基于多标签语义引导的嵌入式零样本学习算法。该算法在可见类上构造视觉特征与语义信息的嵌入空间时,同时计算可见类与未见类语义空间的相似度,引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间,缓解了域偏移问题,从而实现更准确的分类。(2)提出了基于多尺度特征融合的嵌入式零样本学习算法。利用Swin Transformer的层级结构从图像中提取丰富的属性特征,再将属性特征与属性原型对齐优化整个网络使得全局特征包含更多细节信息以区分细粒度语义属性,缓解了过去方法使用图像深度特征带来的细节表征能力不足的问题。同时,本文在鸟类数据集(CUB)、场景数据集(SUN)和动物数据集(AWA2)上对所提两种算法进行了相关的实验验证,结果表明,两种算法均能实现良好的零样本分类效果。
基于Swin Transformer的嵌入式零样本学习方法研究
这是一篇关于零样本学习,Swin Transformer,图像分类,特征融合的论文, 主要内容为传统的图像分类任务通常需要使用大量带有标签的数据来训练模型,但在现实生活中,数据的采集和标注十分困难。因此,如何在没有样本的情况下对物体进行识别的零样本学习算法成为研究热点。零样本学习旨在解决样本缺失情况下的分类问题,通过使用类级别的语义信息在可见类与未见类之间建立联系进而实现对未见类的识别。现有的零样本学习算法多使用Image Net预训练的深度卷积网络来提取特征,这种做法忽略了Image Net和零样本学习基准数据集之间分布的不一致性,针对此问题本文采用Swin Transformer作为新的骨干网络,将其应用到零样本学习领域中,输入原始图片利用自注意力机制得到基于语义信息的视觉特征。且在此基础上提出两种嵌入式的零样本学习算法,主要研究工作如下:(1)提出了基于多标签语义引导的嵌入式零样本学习算法。该算法在可见类上构造视觉特征与语义信息的嵌入空间时,同时计算可见类与未见类语义空间的相似度,引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间,缓解了域偏移问题,从而实现更准确的分类。(2)提出了基于多尺度特征融合的嵌入式零样本学习算法。利用Swin Transformer的层级结构从图像中提取丰富的属性特征,再将属性特征与属性原型对齐优化整个网络使得全局特征包含更多细节信息以区分细粒度语义属性,缓解了过去方法使用图像深度特征带来的细节表征能力不足的问题。同时,本文在鸟类数据集(CUB)、场景数据集(SUN)和动物数据集(AWA2)上对所提两种算法进行了相关的实验验证,结果表明,两种算法均能实现良好的零样本分类效果。
基于零样本学习的显微图像目标识别研究
这是一篇关于医学影像处理,深度学习,零样本学习,图卷积神经网络,图对比学习的论文, 主要内容为显微镜检的检查结果是现代医学诊断的重要依据,但长期以来,镜检主要依靠医师人工检查。人工检查存在操作繁琐、效率低和依赖医生经验等问题,因此以深度学习技术为主的目标识别技术已逐步成为医疗未来发展的新趋势。然而,相较传统的图像处理技术,深度学习方法对大量人工标注的优质训练数据仍存在很强的依赖性,往往带来较高的标注成本。这个问题在医学影像中的显微图像目标识别中更加明显,相较于传统目标识别任务中的自然图像,医学影像中的显微图像样本稀缺、采集困难、目标识别难度大且标注成本更高。最近几年,基于零样本学习的深度学习技术取得了长足的发展,甚至在一些特定任务上的检测性能已经能够与部分有监督训练得到的结果相提并论。因此,本文围绕基于知识图的显微图像零样本目标识别技术开展研究,提出一系列有利于提高识别准确率和减少标注需求的方法。本文主要研究内容如下:(1)提出一种基于自注意力图池化的深度U型图卷积神经网络(GUN-2A),针对深层图卷积网络中存在的拉普拉斯过平滑问题,本文引入一种U型结构的深度图卷积神经网络从图的全局角度进行消息聚合,并提出一种基于自注意力的图池化方法缓解深度图网络带来的过平滑。在ImageNet 21K上的测试结果表明,提出的方法在5个Hit@k指标上均超过基线方法。(2)提出基于拓扑对称对偶知识图的图对比学习方法(CGUN-2A)。针对零样本学习在单一知识图中存在的语义间隔问题,引入额外的CLIP知识图,建立拓扑对称对偶知识图,辅助视觉-语义空间流形的对齐;在前述GUN-2A基础上引入图对比学习范式,提出CGUN-2A,约束类表达,保持类内相似性并扩大类间可分性,缓解领域漂移。实验结果表明,在ImageNet 21K数据集上该方法在全部Hit@k指标下均达到最先进的性能。在缓解偏移问题上,较之前的方法在一般零样本学习和广义零样本学习的设定下,Hit@1相对分别提升33.3%和47.1%。(3)实现基于CGUN-2A的显微图像目标识别算法。建立医学显微图像知识图谱,引入超景深信息和光流信息首次从视觉侧对零样本学习进行优化。在两个医学显微细胞数据集上的实验结果表明,相较先前的方法,本文的方法实现了零样本学习性能的提高,在两个数据集上分别提升0.8%和2.0%。
基于生成模型的零样本图像分类研究与实现
这是一篇关于零样本学习,图像分类,扩散模型,对比学习,花类识别的论文, 主要内容为现有的深度学习模型的性能很大程度上依赖有标注的图像数据的数量,这对传统图像识别算法在识别稀有物种或随着社会发展而出现的新物种等无法获取大量的有标注图像数据场景提出了挑战。零样本图像识别技术应运而生,专门研究如何在数据有限的场景下保持较高的图像识别精度。零样本学习的出发点是模仿人类的学习过程。人类可以通过他们已经掌握的概念直接推导出未知对象的概念。零样本学习旨在将辅助信息数据融入现有的图像识别数据集中,帮助深度学习模型实现概念迁移,辅助信息通常是提取特定物种概念的语义信息。在最初的零样本学习算法中,通常使用基于映射的方法将图像特征映射到语义空间。训练模型使每个映射的图像特征与其对应的语义向量接近,并在测试过程中在语义空间中进行最近邻搜索。虽然基于映射的方法在传统的零样本学习中表现良好,但在更现实的场景中其表现极差。由于生成对抗网络的快速发展,从语义信息生成特定对象的图像数据已经成为可能。基于生成对抗网络的生成零样本学习方法可以为可用于训练深度学习网络的零样本项目补充大量图像数据,显著提高模型在广义零样本学习场景中的性能。(1)大部分基于生成模型的零样本学习方法使用生成对抗网络,然而,该方法存在模式崩溃和训练困难等问题。本文引入了一种新的生成器——扩散模型。该模型逐步添加高斯噪声并进行去噪处理,利用U-Net预测原始图像特征中的噪声,具备易于训练的简单易收敛特性。在CUB、AWA2、SUN、FLO数据集上的实验结果表明,扩散模型提高了图像特征生成的质量,同时保证了高效的训练过程。(2)图像特征混淆一直是限制图像特征分类器分类准确率的难题。对比学习是一种无监督学习的方法,可以解决特征混淆问题。本文采用对比学习的方式,将生成的图像特征嵌入到中间空间,并通过比较同一种类和不同种类中的图像特征样本相似度来进行分类。实验结果表明,对比学习模块可以有效缓解图像特征混淆,并在CUB、AWA2、SUN、FLO数据集上展现出很好的分类效果。(3)本文成功地训练了基于扩散模型和对比学习的零样本学习模型,并将其应用于罕见花卉识别系统。该系统采用浏览器/服务器架构,前端采用vue框架搭建,提供用户注册登录、图像上传、图像识别结果展示和用户反馈等功能。后端采用nvidia triton框架完成图像识别计算处理、系统日志收集和数据存储等功能。
基于Swin Transformer的嵌入式零样本学习方法研究
这是一篇关于零样本学习,Swin Transformer,图像分类,特征融合的论文, 主要内容为传统的图像分类任务通常需要使用大量带有标签的数据来训练模型,但在现实生活中,数据的采集和标注十分困难。因此,如何在没有样本的情况下对物体进行识别的零样本学习算法成为研究热点。零样本学习旨在解决样本缺失情况下的分类问题,通过使用类级别的语义信息在可见类与未见类之间建立联系进而实现对未见类的识别。现有的零样本学习算法多使用Image Net预训练的深度卷积网络来提取特征,这种做法忽略了Image Net和零样本学习基准数据集之间分布的不一致性,针对此问题本文采用Swin Transformer作为新的骨干网络,将其应用到零样本学习领域中,输入原始图片利用自注意力机制得到基于语义信息的视觉特征。且在此基础上提出两种嵌入式的零样本学习算法,主要研究工作如下:(1)提出了基于多标签语义引导的嵌入式零样本学习算法。该算法在可见类上构造视觉特征与语义信息的嵌入空间时,同时计算可见类与未见类语义空间的相似度,引导模型同时考虑与当前可见类语义上相似的未见类,进而将语义空间的相似性迁移到最终执行分类的嵌入空间,缓解了域偏移问题,从而实现更准确的分类。(2)提出了基于多尺度特征融合的嵌入式零样本学习算法。利用Swin Transformer的层级结构从图像中提取丰富的属性特征,再将属性特征与属性原型对齐优化整个网络使得全局特征包含更多细节信息以区分细粒度语义属性,缓解了过去方法使用图像深度特征带来的细节表征能力不足的问题。同时,本文在鸟类数据集(CUB)、场景数据集(SUN)和动物数据集(AWA2)上对所提两种算法进行了相关的实验验证,结果表明,两种算法均能实现良好的零样本分类效果。
基于跨模态特征生成的零样本识别研究
这是一篇关于零样本学习,对抗生成网络,语义增强,跨模态学习,图卷积的论文, 主要内容为零样本学习的目标是去识别在训练过程中没有出现的类别,对于传统的分类方法很难依靠训练集中的样本来识别没有见过的类别。因此早期的零样本学习方法开始引入其他模态的信息如语义特征来帮助识别不可见类别的视觉特征,通过训练一个嵌入空间,将视觉特征和语义特征投影到这个共同的空间,再通过该空间中的度量学习完成预测,本文把这种方法称为基于嵌入式的方法。然而,这种方法很难避免偏差问题,即不可见类别会更容易被误分类为可见类别,这是由于模型都是通过可见类别样本训练的。因此近些年的学者尝试使用另一种方法来解决零样本学习从而避免偏差问题,他们使用了深度生成模型来直接生成不可见类别的样本并补充到训练集中。这种基于生成的方法依靠主流的生成模型如对抗生成网络[1]或者变分自编码器[2],但是这些生成模型的训练过程不稳定,这也导致了生成的不可见类别的特征中的视觉信息和语义信息难以得到保证。为了解决这个问题,本文基于现有的生成模型提出了跨模态语义增强对抗生成网络,通过将跨模态特征引入生成网络来提升生成特征的视觉信息和语义信息。跨模态语义增强对抗生成网络使得对抗生成网络中的生成器能够生成跨模态特征,并利用辨别器来辨别真实的跨模态特征和生成的跨模态特征。此外,本文将模型中的跨模态语义增强模块作为一个“弱约束”用在对抗生成网络之上,来尽量减少对于对抗生成网络的依赖,并且尽量少地影响网络的稳定性。本文在三个常用的零样本学习数据集上验证了模型的优越性,其性能超越了其他基于生成模型的方法。此外另一种基于图的零样本学习方法也逐渐得到学术界的关注,这种方法基于Image Net-21K[3]这种大型数据集,通过大量的类别间的关系构建图网络,并使用图卷积[4]在图上提取信息,最终直接生成目标的视觉分类器。本文在基于图的方法的基础上进行改进,提出了语义增强知识图谱和多重粒度融合图网络,引入了语义特征和多粒度融合,从语义模态和视觉模态对图网络进行增强,对知识图谱进行语义上的降噪和增强,并修改图卷积堆叠方式来捕捉多重粒度的信息,最终生成更加准确的视觉分类器。本文在性能实验中验证了模型在性能上相较于其他模型的优势。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码海岸 ，原文地址：https://m.bishedaima.com/lunwen/47875.html
