基于模仿学习的光学图像小样本分类方法研究
这是一篇关于深度学习,小样本分类,光学图像,微调,线性判别分析的论文, 主要内容为近年来,深度学习凭借其在计算机视觉、自然语言处理和强化学习等领域所取得的瞩目成就,被越来越多的研究者所关注。当带标记的数据稀缺时,传统深度学习方法所取得的效果无法令人满意。为了解决当实际样本数量很少时,传统深度学习模型难以胜任的问题,小样本学习(Few-Shot Learning),特别是小样本分类(Few-Shot Classification)被提出。在模型微调过程中,目前方法总是依据经验来选择超参数的设置;同时由于目标数据集中没有验证和测试图像,因此无法评估微调之后的模型性能。此外,小样本条件下的分类器在微调过程中会快速收敛至非最优解,这进一步降低了分类性能。本文对上述问题进行了研究,其主要工作如下:1.提出了基于度量学习的小样本线性判别分析(Few-shot Linear Discriminant Analysis Algorithm,FSLDA)算法。FSLDA通过充分挖掘目标数据集的专业知识来构建最优的线性分类器,为模型分类层提供一种参数初始化方法。与随机初始化的分类层相比,基于FSLDA的分类层参数初始化方法不仅可以加快收敛速度,而且有利于收敛到更稳定的解空间,同时为模型分类层提供了一个甚至通过微调无法达到的良好起始点,限定了模型在微调过程中的性能下界。在Mini-Image Net数据集上的消融实验结果表明,仅使用FSLDA的Meta-Baseline方法在微调层策略“Last1”和“All”上的平均性能分别提高了3.07%和2.99%。2.基于元学习训练方法的经验,本文提出了自适应微调(Adaptive Fine-tuning,AFT)算法。基于基类数据集中的验证集,AFT通过设计自适应终止规则进行训练步(epoch)的学习。此外,基于AFT,通过在不同微调策略下进行性能分析,得到了不同样本规模和微调层策略下的混合微调策略(Hybrid Fine-tuning Strategy)。获得的混合微调策略不仅可以自适应决定是否需要微调(即微调后的效果是否优于FSLDA),而且可以避免模型欠拟合或过拟合,从而提升算法效率和准确率。消融实验结果表明,对于10-shot、20-shot和30-shot,使用AFT的Meta-Baseline方法在微调层策略“All”上的平均性能进一步提高了0.40%、0.99%和0.79%。3.针对混合微调策略,在预训练方法R2D2、SKD-GEN0和RFS-simple下进行对比评估。实验结果表明,与基于经验的微调方法相比,混合微调方法分别在Mini-Image Net和Tiered-Image Net数据集上的平均性能提高了2.30%和2.78%。
迁移学习提高多类图像分类精度的研究
这是一篇关于多类图像分类,深度学习,卷积神经网络,迁移学习,微调的论文, 主要内容为在过去十年中,深度学习以惊人的速度发展。深度神经网络模型用于解决各种实际问题,其中一些问题需要更高的精度和极低的回归系数,包括图像分类、目标检测、自动驾驶汽车的实时分类和监控系统。由于其在各种视觉任务中的应用,图像分类受到了相当大的关注,它可助于解决复杂问题。深度神经网络在很大程度上取代了传统的滤波器,可是目前的成像技术无法完全代替人力。因此,考虑如何通过使用迁移学习技术来改进现有的视觉成像技术十分重要。本文的目的是利用转移学习技术提高多类图像分类的精度。深度卷积神经网络结构的发展对于提高图像分类任务的性能至关重要。由于照片的前景复杂,以及不同类别图像之间的相似性,在图像识别方面仍然存在重大障碍。CNN体系结构VGG19、Res Net50、Inception V3和Xception通过具有恒定的基线学习拓扑来提高各自模型的性能,从而得出用于图像分类的结论。多类图像分类工作是使用现有CNN模型和转移学习技术的组合来完成的。主要研究内容如下:根据任务要求,已构建并研究了VGG19、Res Net50、Inception V3和Xception模型的多类图像分类布局方法和体系结构。使用Jupyter notebook中的Keras库,在同一数据集上独立构建所有模型。在后端,使用了Tensor Flow。预处理中的图像增强方法正在得到应用。研究了均值归一化的重要性,并确定了各种数据扩充的方法。通过将输入转换为浮点Num Py数组来预处理输入,该数组生成成批量的浮点张量。研究了模型的过拟合和欠拟合问题,以及是否需要退出正则化。为了提高精度,已配置回调和其他超参数。讨论了降损函数的要求及其对模型性能的影响。分类交叉熵用于评估损失函数。选择Adam优化器来改变神经网络的属性,如权重和学习率,并选择Soft Max分类器来预测图像各自的类别。本文研究了转移学习在多类图像分类中的主要应用方法,并将其应用于我们的多类图像分类挑战。为了减少计算成本和训练时间以及昂贵的数据标记,采用了任务转移学习方法。在迁移学习之后,我们为不同的模型设置不同的可训练参数,以便对模型进行再训练。在编译现有模型并使用迁移学习方法后,我们对CNN模型进行了微调。采用浅层调谐方法,并研究了应微调哪一层。利用分类任务结果进行比较。将用于多类图像分类的深度学习算法的性能与使用相同参数的不同数据集的性能进行比较。与所选预训练模型的精度进行了比较,结果表明,我们的微调模型精度较高;在训练和测试以及模型的整体准确性方面。我们使用同一模型对不同的数据集以及实验中使用的数据集进行了精度比较,发现我们的精度更高。演示深度学习算法的易用性。实验证明,通过确定准确的参数,可以提高多类图像分类的精度;例如学习率、批量大小以及在微调过程中确定准确的可训练参数。通过我们选择的脱落正则化和参数0.5,表明模型不受过拟合问题的影响,从而提高了精度。几位作者使用相同的模型进行了研究并进行了微调;但我们的微调方法和参数与其他方法不同。在迁移学习阶段之后,我们立即开始微调阶段的再训练;这样我们就可以利用预先训练好的模型知识;因此,我们更新了选择性层权重,并减少了计算时间。预先训练的模型使用SGD、RMSprop优化器,但我们使用Adam优化器;在将输入放入分类层之前,我们使用了全局平均池层;因为全局平均池层保留了单个图像特征贴图的深度。在我们的实验中,我们使用了具有选择参数3的早期停止函数。这可以防止模型过度训练。
基于模仿学习的光学图像小样本分类方法研究
这是一篇关于深度学习,小样本分类,光学图像,微调,线性判别分析的论文, 主要内容为近年来,深度学习凭借其在计算机视觉、自然语言处理和强化学习等领域所取得的瞩目成就,被越来越多的研究者所关注。当带标记的数据稀缺时,传统深度学习方法所取得的效果无法令人满意。为了解决当实际样本数量很少时,传统深度学习模型难以胜任的问题,小样本学习(Few-Shot Learning),特别是小样本分类(Few-Shot Classification)被提出。在模型微调过程中,目前方法总是依据经验来选择超参数的设置;同时由于目标数据集中没有验证和测试图像,因此无法评估微调之后的模型性能。此外,小样本条件下的分类器在微调过程中会快速收敛至非最优解,这进一步降低了分类性能。本文对上述问题进行了研究,其主要工作如下:1.提出了基于度量学习的小样本线性判别分析(Few-shot Linear Discriminant Analysis Algorithm,FSLDA)算法。FSLDA通过充分挖掘目标数据集的专业知识来构建最优的线性分类器,为模型分类层提供一种参数初始化方法。与随机初始化的分类层相比,基于FSLDA的分类层参数初始化方法不仅可以加快收敛速度,而且有利于收敛到更稳定的解空间,同时为模型分类层提供了一个甚至通过微调无法达到的良好起始点,限定了模型在微调过程中的性能下界。在Mini-Image Net数据集上的消融实验结果表明,仅使用FSLDA的Meta-Baseline方法在微调层策略“Last1”和“All”上的平均性能分别提高了3.07%和2.99%。2.基于元学习训练方法的经验,本文提出了自适应微调(Adaptive Fine-tuning,AFT)算法。基于基类数据集中的验证集,AFT通过设计自适应终止规则进行训练步(epoch)的学习。此外,基于AFT,通过在不同微调策略下进行性能分析,得到了不同样本规模和微调层策略下的混合微调策略(Hybrid Fine-tuning Strategy)。获得的混合微调策略不仅可以自适应决定是否需要微调(即微调后的效果是否优于FSLDA),而且可以避免模型欠拟合或过拟合,从而提升算法效率和准确率。消融实验结果表明,对于10-shot、20-shot和30-shot,使用AFT的Meta-Baseline方法在微调层策略“All”上的平均性能进一步提高了0.40%、0.99%和0.79%。3.针对混合微调策略,在预训练方法R2D2、SKD-GEN0和RFS-simple下进行对比评估。实验结果表明,与基于经验的微调方法相比,混合微调方法分别在Mini-Image Net和Tiered-Image Net数据集上的平均性能提高了2.30%和2.78%。
非同源样本与不同仪器间NIRS深度学习模型转移方法研究
这是一篇关于近红外光谱,模型转移,双向长短期记忆,启示-残差网络,微调的论文, 主要内容为近红外光谱(NIRS)技术具有快速、无损、环保等特点,然而,当光谱仪器或被测样品变化时,已建立的光谱模型通常不再适配。模型转移旨在解决此问题,对推广近红外光谱速测应用具有重要意义。在广泛调研的基础上,本文提出一种基于深度学习的定量建模和新场景下模型共享新方法。具体研究内容如下:首先,设计一种全连接层与Bi-LSTM并行组合的改进网络结构,针对聚谷氨酸(γ-PGA)肥和畜禽粪便肥的NIRS数据集,分别建立源域γ-PGA浓度和牛粪干物质(DM)含量的定量模型,并与PLS、ELM等传统模型进行对比。研究结果表明,改进Bi-LSTM定量网络增强了主干网络对光谱信息的提取,对两类肥料NIRS数据集的预测精度均大大提升。其次,设计冻结和更新Bi-LSTM层权重的两组微调(Fine-tuning)方案,用目标域γ-PGA肥和鸡粪的NIRS校正集训练源域定量网络,获得性能最优的迁移神经网络,并与PDS、CCA、SBC、TCA和Tradaboost等5种传统迁移方法所建模型进行比较。研究结果表明,两组Fine-tuning的深度迁移学习都能修复非同源样本间NIRS的特征差异,尤其是更新Bi-LSTM层权重全局调整方法,使非同源样本间的NIRS特征概率密度更接近相同分布,所建迁移模型性能更优。最后,设计一种1D-Inception-Res Net网络结构,针对3台不同型号光谱仪采集的甘蔗NIRS公开数据集,建立甘蔗中ADF和IVOMD两种成分的定量模型;然后通过调整Inception模块的权值实现该神经网络在不同仪器间的传递;并与PDS、CCA、SBC等传统模型转移方法所得结果进行比较。研究结果表明,Fine-tuning-1DInception-Res Net迁移网络具有更强的特征提取和泛化力,有效缩小仪器间光谱的特征差异,实现NIRS深度学习网络模型在不同仪器间传递共享。本文研究了具有改进结构的Bi-LSTM和1D-Inception-Res Net网络在NIRS领域的定量建模,以及网络模型在非同源样本、不同仪器间的深度迁移学习。本文的研究对丰富近红外光谱智能建模算法、促进NIRS在更多场景下的实际应用具有重要价值,同时对其它光谱分析技术的建模和模型迁移研究也具有借鉴意义。
基于模仿学习的光学图像小样本分类方法研究
这是一篇关于深度学习,小样本分类,光学图像,微调,线性判别分析的论文, 主要内容为近年来,深度学习凭借其在计算机视觉、自然语言处理和强化学习等领域所取得的瞩目成就,被越来越多的研究者所关注。当带标记的数据稀缺时,传统深度学习方法所取得的效果无法令人满意。为了解决当实际样本数量很少时,传统深度学习模型难以胜任的问题,小样本学习(Few-Shot Learning),特别是小样本分类(Few-Shot Classification)被提出。在模型微调过程中,目前方法总是依据经验来选择超参数的设置;同时由于目标数据集中没有验证和测试图像,因此无法评估微调之后的模型性能。此外,小样本条件下的分类器在微调过程中会快速收敛至非最优解,这进一步降低了分类性能。本文对上述问题进行了研究,其主要工作如下:1.提出了基于度量学习的小样本线性判别分析(Few-shot Linear Discriminant Analysis Algorithm,FSLDA)算法。FSLDA通过充分挖掘目标数据集的专业知识来构建最优的线性分类器,为模型分类层提供一种参数初始化方法。与随机初始化的分类层相比,基于FSLDA的分类层参数初始化方法不仅可以加快收敛速度,而且有利于收敛到更稳定的解空间,同时为模型分类层提供了一个甚至通过微调无法达到的良好起始点,限定了模型在微调过程中的性能下界。在Mini-Image Net数据集上的消融实验结果表明,仅使用FSLDA的Meta-Baseline方法在微调层策略“Last1”和“All”上的平均性能分别提高了3.07%和2.99%。2.基于元学习训练方法的经验,本文提出了自适应微调(Adaptive Fine-tuning,AFT)算法。基于基类数据集中的验证集,AFT通过设计自适应终止规则进行训练步(epoch)的学习。此外,基于AFT,通过在不同微调策略下进行性能分析,得到了不同样本规模和微调层策略下的混合微调策略(Hybrid Fine-tuning Strategy)。获得的混合微调策略不仅可以自适应决定是否需要微调(即微调后的效果是否优于FSLDA),而且可以避免模型欠拟合或过拟合,从而提升算法效率和准确率。消融实验结果表明,对于10-shot、20-shot和30-shot,使用AFT的Meta-Baseline方法在微调层策略“All”上的平均性能进一步提高了0.40%、0.99%和0.79%。3.针对混合微调策略,在预训练方法R2D2、SKD-GEN0和RFS-simple下进行对比评估。实验结果表明,与基于经验的微调方法相比,混合微调方法分别在Mini-Image Net和Tiered-Image Net数据集上的平均性能提高了2.30%和2.78%。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码助手 ，原文地址：https://m.bishedaima.com/lunwen/54470.html
