基于N-Net的金属断口图像识别及FPGA硬件实现
这是一篇关于金属断口图像,卷积神经网络,LASSO回归,量化,FPGA的论文, 主要内容为在复杂环境的作用下,金属材料易发生腐蚀、疲劳等现象,导致失效事故频繁发生,从而造成巨大的经济损失和人身伤亡。如何实现对金属断口形貌的精准、高效识别,对工业生产和应用具有重要意义。本文采用软硬件结合的方式,设计了基于LAQA算法的N-Net卷积神经网络模型,并通过FPGA开发板实现金属断口图像的有效识别。主要研究内容如下:(1)设计了N-Net模型结构对金属断口图像进行分类识别,通过增大网络深度、调整卷积核大小尺寸、更改池化层类型、添加Dropout层等方法,逐步优化网络结构,依次建立N-Net-A～N-Net-D四种网络模型,并对各种模型下的训练集、测试集识别准确率、误差曲线以及训练时间进行分析,确定最终N-Net-C结构。将N-Net-C模型与传统机器学习算法在金属断口数据集上的识别率进行对比,验证了N-Net-C模型的有效性。在N-Net-C模型基础上进行改进网络模型,增加BN层并将其与卷积层相融合,提升了模型识别准确率。(2)设计了LA-QA算法优化网络模型。将LASSO回归剪枝算法和量化感知训练(QAT)算法相结合,减少神经网络中非关键通道,有效降低了网络运算量、参数数量,缩减网络参数空间占用量,提升了网络计算效率。将优化后的模型对金属断口图像进行识别,分析并验证了LA-QA算法能够有效压缩模型,为后续硬件部署提供有力支撑。(3)选用PYNQ-Z2开发板设计N-Net网络模型,在FPGA上实现了金属断口图像的识别,与软件实现准确率对比,精度损失较小,实现了硬件设计的有效部署。
图像分类卷积神经网络全二值设计与实现
这是一篇关于二值神经网络,深度学习,二值化,量化的论文, 主要内容为尽管卷积神经网络在图像分类任务中取得了巨大成功并迅速发展,但复杂的深度神经网络需要消耗巨大的储存空间和计算资源,这对深度卷积神经网络在移动设备上的部署造成了严重限制,因此,简单、高效、精确的模型才更有机会部署在移动终端等小型设备上。二值网络应运而生,其占用存储空间小,计算效率高。然而目前二值网络无法实现真正全部二值化,第一层卷积普遍采用全精度网络,当前二值网络采用全二值网络表现效果很差,相较于采用第一层全精度卷积Top-1分类正确率会下降10%—30%。基于上述问题,本文提出全二值卷积神经网络,对首层卷积sign函数的输入进行特殊处理,减少图像数据通过首层二值卷积的信息损失。主要内容及创新点如下:(1)本文提出最大化减少信息损失的第一层卷积二值化方法。第一层卷积二值化会损失大量信息,因此要针对输入数据做二值处理,最大化减少通过第一层二值卷积后的信息损失。目前图像分类中使用的图片数据整数范围为[0,255],为最大化减少由256个数据变为+1,-1两个数据产生的信息损失,本文提出将原始图像数据使用8位二进制表示,拓宽图像数据维度,最大化减少信息损失。通过实验证明,使用转换后的数据对全精度网络训练仍可得到原来分类准确率。这其中8位二进制的每一位将会作为一个通道数据输入网络,原始数中RGB三通道[0,255]内数据经过处理成只包含0,1的24通道数据,0在通过sign函数后会得到1,为使数据通过sign可以得到两个值,需要将24通道中的0数据变为-1。经过上述处理,可以最大化解决第一层卷积二值化导致的信息损失。(2)提出通道洗牌与组卷积结合的减少计算量和提高特征提取能力方法。本文的全二值卷积网络的第一层输入为24通道,这样使得网络的计算量有所增加,有违二值卷积网络的初衷。因此本文提出使用通道洗牌(Channel Shuffle)与组卷积(Group Convolution)来解决该问题,在本文中,我们将原始数据中RGB通道各加宽8倍,得到24个通道。为了减少计算量,我们需要进行分组卷积,而每个分组应该分别包含原始图像中RGB通道的数据,这与Shuffle Net中提出的通道洗牌类似。因此我们借用Shuffle Net的思想,通过采用组卷积技术来解决计算量增加的问题,特别是针对第一层通道扩展所造成的计算量增加,组卷积技术可以有效缓解这一问题。然而,组卷积当前存在的问题是不同组之间不能进行通信,这会降低网络的特征提取能力。通道洗牌技术可以用来解决这一问题。实验证明采用本方法可以在分类准确率不变的前提下降低计算量。实验结果表明,将本文方法应用在SOTA方法中都可以在不同数据集上得到准确率的提升。实验证明目前SOTA二值方法在全二值卷积下分类准确率很低,而本文方法可以有效提高这些SOTA网络分类准确率,通过在不同数据集上进行实验,证明了本文方法有效性。实验证明本文方法在小型数据集SVHN表现效果最佳,最高可达18.4%的提升,接近原二值网络Top1分类准确率。
大规模图上基于特征压缩的图神经网络训练性能优化研究
这是一篇关于图神经网络,数据加载,系统优化,量化,算子融合,大规模图的论文, 主要内容为大量真实世界中的数据是以图的方式进行组织,近年来,随着深度学习技术的发展,图神经网络已经在许多情况下成为处理图结构数据最先进的方法,被广泛地应用在风险控制、推荐系统和分子生物学等领域。在大规模图上训练图神经网络依赖于CPU和GPU的协作,其中图结构数据和特征存储在CPU内存中,在原图上采样得到的子图及其特征则移动到GPU上进行训练。然而,这样的训练方法面临着严重的效率问题,图特征的数据加载缓慢导致GPU资源利用率和端到端训练性能的低下。同时,过大的图特征尺寸也导致在大规模图上训练时对主机内存和GPU显存的需求过大。为了提高GPU资源利用率并在大规模图上高效地训练图神经网络,需要对图神经网络训练流程进行必要的优化和改进。本文主要在单机场景下针对大规模图上基于采样的图神经网络训练流程进行优化,以满足对训练速度和图规模等关键指标的要求。我们主要使用基于特征压缩的数据加载方法来针对数据加载的主要瓶颈进行优化,并从理论上分析其影响,给出压缩后特征训练的模型在适当假设下的收敛性保证,并给出了影响模型准确度的重要参数。针对特征压缩优化后显露出的新瓶颈,我们进一步引入解压缩与聚合步骤的算子融合来加速GPU上的计算以及引入确定性采样方法来加速图采样,同时大幅降低训练过程中所需的主机内存和GPU显存资源。并将以上优化结合缓存形成一个高效的图神经网络训练系统。相对现有图神经网络训练优化工作,我们的系统可以在更大规模的图上获得良好的加速表现,降低内存需求,并保持模型准确度不下降,只需要较少的改动即可兼容大部分图神经网络模型。我们在三个基准图数据集上对三个常见的图神经网络模型进行了评估,我们的方法在模型准确度下降不超过1%的情况下提供了平均3.12倍的单GPU训练加速。在目前最大的公开基准图数据集MAG240M上,我们的方法在多GPU时可以提供至多18.55倍的加速效果,在使用4个GPU的情况下,把训练GraphSAGE模型的耗时从5小时以上降低到22分钟,并将内存需求从460GB降低到42GB。
KL-SN Quantization Net：基于KL散度和谱归一化的量化网络
这是一篇关于深度神经网络,KL散度,谱归一化,模型压缩,量化的论文, 主要内容为近年来,在大数据与高性能计算平台的支撑下,深度神经网络DNN模型因为其强大的非线性拟合能力,高度的特征抽象能力和自动特征表达能力,已成为许多机器学习应用程序的首选方法之一。但随着网络的不断深入,在一个较小的网络设备上部署具有大量参数的网络变得越来越困难,并且在时间敏感的场景下应用也受到了限制,因此模型压缩成了重要的环节。我们知道权重和激活量化是深度神经网络(DNN)压缩的重要备选方案之一,并且可以利用位操作兼容来提高推理速度,但是量化模型和全精度模型相比,在精度准确性等方面仍然存在进步的空间。为了减小这一差距,我们借鉴并改进前人提出的可训练的量化方案。更具体来说,本文提出的可训练的方法KL-QEM算法能够进行任意位精度网络权重和激活的量化,此外在衡量量化误差分布上,改进了分布差异的衡量标准,用KL散度代替原来的分布差异函数。同时本文详细地介绍了KL-SN Quantization Net的原理细节且在量化网络KL-SN Quantization Net中加入了谱归一化操作,增强了模型的泛化性和鲁棒性,提升了模型的性能。最后文中在CIFAR-10数据集和MNIST数据集上进行的综合数值实验,其结果表明本文的量化方法对于VGG-Net和Res Net等网络运行良好,显示出了很好的鲁棒性,并且在准确率和时间方面比以前的量化方法有所提升,进一步表明了所提出算法的有效性。
基于N-Net的金属断口图像识别及FPGA硬件实现
这是一篇关于金属断口图像,卷积神经网络,LASSO回归,量化,FPGA的论文, 主要内容为在复杂环境的作用下,金属材料易发生腐蚀、疲劳等现象,导致失效事故频繁发生,从而造成巨大的经济损失和人身伤亡。如何实现对金属断口形貌的精准、高效识别,对工业生产和应用具有重要意义。本文采用软硬件结合的方式,设计了基于LAQA算法的N-Net卷积神经网络模型,并通过FPGA开发板实现金属断口图像的有效识别。主要研究内容如下:(1)设计了N-Net模型结构对金属断口图像进行分类识别,通过增大网络深度、调整卷积核大小尺寸、更改池化层类型、添加Dropout层等方法,逐步优化网络结构,依次建立N-Net-A～N-Net-D四种网络模型,并对各种模型下的训练集、测试集识别准确率、误差曲线以及训练时间进行分析,确定最终N-Net-C结构。将N-Net-C模型与传统机器学习算法在金属断口数据集上的识别率进行对比,验证了N-Net-C模型的有效性。在N-Net-C模型基础上进行改进网络模型,增加BN层并将其与卷积层相融合,提升了模型识别准确率。(2)设计了LA-QA算法优化网络模型。将LASSO回归剪枝算法和量化感知训练(QAT)算法相结合,减少神经网络中非关键通道,有效降低了网络运算量、参数数量,缩减网络参数空间占用量,提升了网络计算效率。将优化后的模型对金属断口图像进行识别,分析并验证了LA-QA算法能够有效压缩模型,为后续硬件部署提供有力支撑。(3)选用PYNQ-Z2开发板设计N-Net网络模型,在FPGA上实现了金属断口图像的识别,与软件实现准确率对比,精度损失较小,实现了硬件设计的有效部署。
中国体育学理论类MOOOC教学设计现状与特征、问题与对策研究
这是一篇关于体育学理论类MOOC,教学设计,量化,案例的论文, 主要内容为(背景)当前,我国MOOC在教育信息化、教育现代化、教育公平化大势下,其规模已居世界第一,但问题也逐渐突显,2020年12月教育部高等学校委员会主任杨宗凯指出:当前我国虽开发了很多MOOC,但高质量MOOC数量有限。(目的)鉴于此,本研究旨在梳理、归纳当前我国MOOC在教学设计上的现状与特征,探讨其问题与对策,为一线教师提供切实可行的MOOC设计方法,进而助力MOOC质量的整体提高。(对象与方法)从国内36个MOOC平台抽取35门体育学理论类MOOC为样本,以文献法、德尔菲法、专家访谈法、录像观察法、内容分析法、数理统计法为主要研究方法,以网络爬虫工具(八爪鱼采集器8.0)、EXCEL2016、SPSS21.0、体育学理论类MOOC教学设计观察记录表为主要工具,从教师对MOOC平台的选择、课程门户的设计、授课视频的设计、课下活动的设计、学生成绩构成的设计五个方面进行研究。(结论)研究结论如下:(1)本研究所研制的《体育学理论类MOOC教学设计观察表》包含平台选择、课程门户、授课视频、课下活动、成绩构成5个一级指标、16个二级指标、85个三级指标。观察表的研制按照指标体系构建原则,通过两轮德尔菲法及界值法对观察指标体系中指标进行优化确定,并进行观察者一致性检验,最终保证观察表的效信度,该表未来可作为相关研究测量工具。(2)观察与分析结果:A平台选择上:呈现教师对MOOC平台选择受政策影响较大特征。B课程门户设计上:呈现动态宣传普及化、建课团队化特征。其中存在课程宣传设计存在单一、简介“唯荣誉”、团队成员贡献未说明、团队缺乏多学科参与等问题;C授课视频设计上:呈现视频制作美观化、课堂讲解严谨化、课堂互动测试化、归纳图文化、课堂低阶教学活动设计较为完善特征。其中存在教学顺序设计重教材逻辑而轻教学逻辑、课堂讲解设计缺乏理性思维的形象化、课堂导入、互动、结尾设计缺乏且单一、授课场景单一、教师身体语言不够丰富等问题;D课下活动设计与成绩构成上:呈现低阶课下活动设计较好、学生成绩计算智能、多元、过程化特征。其中存在课下活动设计“大材小用”化、互评类评价普及度不高问题。(3)针对问题及成因给出相关建议:MOOC遴选部门应使评审标准不是产生多样化MOOC的“制约工具”;平台运营方应借鉴国外先进MOOC平台进一步丰富其教学支持功能;学校对于相邻的、同一区域的课程资源应当建立共享与交流机制;教师一方面要努力克服人情文化的影响,另一方面要从如何为学生服务视角思考MOOC的设计,而非仅仅评审角度,大胆探索MOOC教学的“变异式设计”。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工厂 ，原文地址：https://m.bishedaima.com/lunwen/48572.html
