基于贝叶斯优化的图神经网络架构搜索方法
这是一篇关于神经网络架构搜索,图神经网络,贝叶斯优化,神经过程的论文, 主要内容为随着深度学习方法的蓬勃发展,神经网络模型作为数据挖掘的有效手段已经成为许多行业的共识,相关方法在图像、文本、音频等多种数据形式的任务上取得了不错的成绩。近年来随着图神经网络(Graph Neural Network,GNN)模型的兴起,研究人员进一步利用图的数据结构建模广泛存在于生活中的非欧几里得空间中的任务变量交互与依赖关系,在推荐系统、知识图谱推理、蛋白质分子属性预测、化学分子生成、疫情传播预测等任务上进行了探索。在神经网络模型的发展过程中,从业者们为了节约重复设计、优化模型所产生的人力开销提出了神经网络架构搜索(Neural Architecture Search,NAS)方法,并在近十年中得到长足的发展。然而,针对图神经网络模型的架构搜索工作还处于发展起步阶段,从架构搜索方法的三个要素出发:受制于图神经网络模型缺失网络结构的特性,研究人员难以设计有表现力且创新的搜索空间;复用传统神经网络上的架构搜索方法,设计搜索策略以实现在庞大搜索空间中的高效搜索问题仍需解决;面对诸多结构属性各异的图数据集,设计合适的图神经网络模型快速评估方式提高模型验证效率也是需要解决的问题之一。同时,得益于图数据集结构特征显著,图神经网络架构搜索框架中进行多个数据集的历史搜索结构共享和搜索经验迁移成为了可能。针对以上问题和思考,本文主要工作如下:(1)提本出了一个基于贝叶斯优化方法图神经网络架构搜索框架。本文以设计图神经网络架构搜索框架为主要问题导向,将神经网络架构搜索领域的设计要素应用至图神经网络领域中——搜索空间、搜索策略与评估策略。本文设计了一个可变深度的非单链式图神经网络搜索空间,旨在提高模型的表达能力上限;结合贝叶斯优化方法的全局搜索特点,本文希望实现快速且稳定的图神经网络架构搜索流程。本文是第一个将贝叶斯优化方法应用至图神经网络架构搜索任务中的工作。(2)结合神经过程方法与神经网络架构搜索方法,设计了一个拟合图神经网络结构与性能数据的图神经网络架构性能预测器,同时实现了“利用多个数据集的架构搜索历史数据迁移经验帮助预测性能”的能力。本文将神经过程方法引入至神经网络架构的性能预测任务中,将神经过程方法对相关函数族的拟合能力拓展到神经网络结构与性能数据预测任务中,旨在对图神经网络结构集合有鉴别能力。另外,本文还将神经过程对函数族的拟合能力应用至多个数据集历史数据中,旨在为图神经网络架构搜索框架在新数据集上提供迁移经验或提供缓解冷启动的能力,提高模型在真实任务中的部署速度。(3)在多个图数据集上进行了实验对比,对比内容包括图神经网络架构搜索框架搜索到的神经网络性能对比和神经过程方法对图神经网络结构性能预测能力的对比。实验结果表明本文提出的图神经网络架构搜索方法相较于传统图神经网络模型以及其他主流工作有竞争力;本文提出图神经网络模型性能预测方法可以在少量训练的情况下获得图神经网络模型的鉴别能力。(4)作为应用实例之一,本文将图神经网络架构搜索框架拓展至约束满足问题(Constraint Satisfaction Problem,CSP)的一个实例图着色问题(Graph Coloring Problem)上,探索了使用图神经网络模型解决图着色问题的可能性。
基于贝叶斯优化的图神经网络架构搜索方法
这是一篇关于神经网络架构搜索,图神经网络,贝叶斯优化,神经过程的论文, 主要内容为随着深度学习方法的蓬勃发展,神经网络模型作为数据挖掘的有效手段已经成为许多行业的共识,相关方法在图像、文本、音频等多种数据形式的任务上取得了不错的成绩。近年来随着图神经网络(Graph Neural Network,GNN)模型的兴起,研究人员进一步利用图的数据结构建模广泛存在于生活中的非欧几里得空间中的任务变量交互与依赖关系,在推荐系统、知识图谱推理、蛋白质分子属性预测、化学分子生成、疫情传播预测等任务上进行了探索。在神经网络模型的发展过程中,从业者们为了节约重复设计、优化模型所产生的人力开销提出了神经网络架构搜索(Neural Architecture Search,NAS)方法,并在近十年中得到长足的发展。然而,针对图神经网络模型的架构搜索工作还处于发展起步阶段,从架构搜索方法的三个要素出发:受制于图神经网络模型缺失网络结构的特性,研究人员难以设计有表现力且创新的搜索空间;复用传统神经网络上的架构搜索方法,设计搜索策略以实现在庞大搜索空间中的高效搜索问题仍需解决;面对诸多结构属性各异的图数据集,设计合适的图神经网络模型快速评估方式提高模型验证效率也是需要解决的问题之一。同时,得益于图数据集结构特征显著,图神经网络架构搜索框架中进行多个数据集的历史搜索结构共享和搜索经验迁移成为了可能。针对以上问题和思考,本文主要工作如下:(1)提本出了一个基于贝叶斯优化方法图神经网络架构搜索框架。本文以设计图神经网络架构搜索框架为主要问题导向,将神经网络架构搜索领域的设计要素应用至图神经网络领域中——搜索空间、搜索策略与评估策略。本文设计了一个可变深度的非单链式图神经网络搜索空间,旨在提高模型的表达能力上限;结合贝叶斯优化方法的全局搜索特点,本文希望实现快速且稳定的图神经网络架构搜索流程。本文是第一个将贝叶斯优化方法应用至图神经网络架构搜索任务中的工作。(2)结合神经过程方法与神经网络架构搜索方法,设计了一个拟合图神经网络结构与性能数据的图神经网络架构性能预测器,同时实现了“利用多个数据集的架构搜索历史数据迁移经验帮助预测性能”的能力。本文将神经过程方法引入至神经网络架构的性能预测任务中,将神经过程方法对相关函数族的拟合能力拓展到神经网络结构与性能数据预测任务中,旨在对图神经网络结构集合有鉴别能力。另外,本文还将神经过程对函数族的拟合能力应用至多个数据集历史数据中,旨在为图神经网络架构搜索框架在新数据集上提供迁移经验或提供缓解冷启动的能力,提高模型在真实任务中的部署速度。(3)在多个图数据集上进行了实验对比,对比内容包括图神经网络架构搜索框架搜索到的神经网络性能对比和神经过程方法对图神经网络结构性能预测能力的对比。实验结果表明本文提出的图神经网络架构搜索方法相较于传统图神经网络模型以及其他主流工作有竞争力;本文提出图神经网络模型性能预测方法可以在少量训练的情况下获得图神经网络模型的鉴别能力。(4)作为应用实例之一,本文将图神经网络架构搜索框架拓展至约束满足问题(Constraint Satisfaction Problem,CSP)的一个实例图着色问题(Graph Coloring Problem)上,探索了使用图神经网络模型解决图着色问题的可能性。
针对自动驾驶场景的目标检测搜索算法研究
这是一篇关于神经网络架构搜索,目标检测,分类任务,深度学习的论文, 主要内容为随着计算机视觉的繁荣,基于深度学习的目标检测技术已成为解决自动驾驶问题的主流方法之一,而网络架构的性能在目标检测技术中处于至关重要的地位。自动驾驶场景需要神经网络在准确度、速度、稳定性等多方面达到较高水平,传统基于人工设计网络的方式倍感乏力,因为其不仅需要研究者对理论知识有充足的储备,还需要不断“试错”进行结构改良才可以提出合适的网络模型。于是,人们开始把目光聚焦于神经网络架构搜索技术,该技术仅需要对搜索空间进行简单设计,便可通过自动化的方式完成特定场景下的网络搭建,大量节省了人力与物力。然而,由于其搜索效率的问题,神经网络架构搜索在目标检测问题上表现不尽如人意,过长的搜索时间阻碍了其向自动驾驶等工业界场景的推进。针对此问题,本工作围绕如何加速目标检测搜索模型展开。随着研究的深入,本文发现在分类领域中梯度下降搜索策略可以大幅度降低搜索时长,若能解决该算法的“崩溃”问题,就可以将其向目标检测领域迁移,从而大幅提升针对目标检测问题的搜索效率。综上所述,本文工作主要分为以下三部分:1、提出基于动态正则的可微梯度搜索模型DR-DARTS。为了解决梯度搜索模型的“崩溃”问题,本文对现有实验结果进行分析,得出结论,造成“崩溃”的根本原因是跳跃连接权重的异常变化。于是本文通过为跳跃连接加入动态正则系数,平衡搜索空间内各操作的竞争关系,为后续工作提供了稳定的分类搜索模型。本文工作DR-DARTS相较于基线模型,在CIFAR-10数据集上准确率提高0.76%,在Image Net数据集上准确率提高1.82%,同时参数量仅3.1M。2、提出基于迁移的目标检测网络搜索模型MOD-NAS。本文通过研究分类、目标检测两类问题的共性,提出基于模型迁移(Migration)与权重共享(Weight sharing)的方式进行目标检测主干网络的搜索。本文工作在公开的COCO数据集中进行评测,最短仅需102小时即可完成单次搜索,相比同期模型节约搜索时长约44%,同时模型m AP指标达到了39.4。3、目标检测实际任务测评。本文使用智能车与人工搭建赛道模拟真实自动驾驶场景下的目标检测任务,使用上述提出的高效搜索模型,定制化搭建既满足精度需求,又满足推断速度需求的轻量级目标检测网络,对赛道上的障碍物与标识物进行实时的定位与检测,并结合编写的智能车控制程序,完成智能车的自动驾驶任务。
基于贝叶斯优化的图神经网络架构搜索方法
这是一篇关于神经网络架构搜索,图神经网络,贝叶斯优化,神经过程的论文, 主要内容为随着深度学习方法的蓬勃发展,神经网络模型作为数据挖掘的有效手段已经成为许多行业的共识,相关方法在图像、文本、音频等多种数据形式的任务上取得了不错的成绩。近年来随着图神经网络(Graph Neural Network,GNN)模型的兴起,研究人员进一步利用图的数据结构建模广泛存在于生活中的非欧几里得空间中的任务变量交互与依赖关系,在推荐系统、知识图谱推理、蛋白质分子属性预测、化学分子生成、疫情传播预测等任务上进行了探索。在神经网络模型的发展过程中,从业者们为了节约重复设计、优化模型所产生的人力开销提出了神经网络架构搜索(Neural Architecture Search,NAS)方法,并在近十年中得到长足的发展。然而,针对图神经网络模型的架构搜索工作还处于发展起步阶段,从架构搜索方法的三个要素出发:受制于图神经网络模型缺失网络结构的特性,研究人员难以设计有表现力且创新的搜索空间;复用传统神经网络上的架构搜索方法,设计搜索策略以实现在庞大搜索空间中的高效搜索问题仍需解决;面对诸多结构属性各异的图数据集,设计合适的图神经网络模型快速评估方式提高模型验证效率也是需要解决的问题之一。同时,得益于图数据集结构特征显著,图神经网络架构搜索框架中进行多个数据集的历史搜索结构共享和搜索经验迁移成为了可能。针对以上问题和思考,本文主要工作如下:(1)提本出了一个基于贝叶斯优化方法图神经网络架构搜索框架。本文以设计图神经网络架构搜索框架为主要问题导向,将神经网络架构搜索领域的设计要素应用至图神经网络领域中——搜索空间、搜索策略与评估策略。本文设计了一个可变深度的非单链式图神经网络搜索空间,旨在提高模型的表达能力上限;结合贝叶斯优化方法的全局搜索特点,本文希望实现快速且稳定的图神经网络架构搜索流程。本文是第一个将贝叶斯优化方法应用至图神经网络架构搜索任务中的工作。(2)结合神经过程方法与神经网络架构搜索方法,设计了一个拟合图神经网络结构与性能数据的图神经网络架构性能预测器,同时实现了“利用多个数据集的架构搜索历史数据迁移经验帮助预测性能”的能力。本文将神经过程方法引入至神经网络架构的性能预测任务中,将神经过程方法对相关函数族的拟合能力拓展到神经网络结构与性能数据预测任务中,旨在对图神经网络结构集合有鉴别能力。另外,本文还将神经过程对函数族的拟合能力应用至多个数据集历史数据中,旨在为图神经网络架构搜索框架在新数据集上提供迁移经验或提供缓解冷启动的能力,提高模型在真实任务中的部署速度。(3)在多个图数据集上进行了实验对比,对比内容包括图神经网络架构搜索框架搜索到的神经网络性能对比和神经过程方法对图神经网络结构性能预测能力的对比。实验结果表明本文提出的图神经网络架构搜索方法相较于传统图神经网络模型以及其他主流工作有竞争力;本文提出图神经网络模型性能预测方法可以在少量训练的情况下获得图神经网络模型的鉴别能力。(4)作为应用实例之一,本文将图神经网络架构搜索框架拓展至约束满足问题(Constraint Satisfaction Problem,CSP)的一个实例图着色问题(Graph Coloring Problem)上,探索了使用图神经网络模型解决图着色问题的可能性。
基于贝叶斯优化的图神经网络架构搜索方法
这是一篇关于神经网络架构搜索,图神经网络,贝叶斯优化,神经过程的论文, 主要内容为随着深度学习方法的蓬勃发展,神经网络模型作为数据挖掘的有效手段已经成为许多行业的共识,相关方法在图像、文本、音频等多种数据形式的任务上取得了不错的成绩。近年来随着图神经网络(Graph Neural Network,GNN)模型的兴起,研究人员进一步利用图的数据结构建模广泛存在于生活中的非欧几里得空间中的任务变量交互与依赖关系,在推荐系统、知识图谱推理、蛋白质分子属性预测、化学分子生成、疫情传播预测等任务上进行了探索。在神经网络模型的发展过程中,从业者们为了节约重复设计、优化模型所产生的人力开销提出了神经网络架构搜索(Neural Architecture Search,NAS)方法,并在近十年中得到长足的发展。然而,针对图神经网络模型的架构搜索工作还处于发展起步阶段,从架构搜索方法的三个要素出发:受制于图神经网络模型缺失网络结构的特性,研究人员难以设计有表现力且创新的搜索空间;复用传统神经网络上的架构搜索方法,设计搜索策略以实现在庞大搜索空间中的高效搜索问题仍需解决;面对诸多结构属性各异的图数据集,设计合适的图神经网络模型快速评估方式提高模型验证效率也是需要解决的问题之一。同时,得益于图数据集结构特征显著,图神经网络架构搜索框架中进行多个数据集的历史搜索结构共享和搜索经验迁移成为了可能。针对以上问题和思考,本文主要工作如下:(1)提本出了一个基于贝叶斯优化方法图神经网络架构搜索框架。本文以设计图神经网络架构搜索框架为主要问题导向,将神经网络架构搜索领域的设计要素应用至图神经网络领域中——搜索空间、搜索策略与评估策略。本文设计了一个可变深度的非单链式图神经网络搜索空间,旨在提高模型的表达能力上限;结合贝叶斯优化方法的全局搜索特点,本文希望实现快速且稳定的图神经网络架构搜索流程。本文是第一个将贝叶斯优化方法应用至图神经网络架构搜索任务中的工作。(2)结合神经过程方法与神经网络架构搜索方法,设计了一个拟合图神经网络结构与性能数据的图神经网络架构性能预测器,同时实现了“利用多个数据集的架构搜索历史数据迁移经验帮助预测性能”的能力。本文将神经过程方法引入至神经网络架构的性能预测任务中,将神经过程方法对相关函数族的拟合能力拓展到神经网络结构与性能数据预测任务中,旨在对图神经网络结构集合有鉴别能力。另外,本文还将神经过程对函数族的拟合能力应用至多个数据集历史数据中,旨在为图神经网络架构搜索框架在新数据集上提供迁移经验或提供缓解冷启动的能力,提高模型在真实任务中的部署速度。(3)在多个图数据集上进行了实验对比,对比内容包括图神经网络架构搜索框架搜索到的神经网络性能对比和神经过程方法对图神经网络结构性能预测能力的对比。实验结果表明本文提出的图神经网络架构搜索方法相较于传统图神经网络模型以及其他主流工作有竞争力;本文提出图神经网络模型性能预测方法可以在少量训练的情况下获得图神经网络模型的鉴别能力。(4)作为应用实例之一,本文将图神经网络架构搜索框架拓展至约束满足问题(Constraint Satisfaction Problem,CSP)的一个实例图着色问题(Graph Coloring Problem)上,探索了使用图神经网络模型解决图着色问题的可能性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计客栈 ，原文地址：https://m.bishedaima.com/lunwen/54550.html
