基于FPGA的神经网络异构加速方案设计

这是一篇关于卷积神经网络,FPGA,异构计算,通用加速器,VGG16,YOLOv3-tiny的论文, 主要内容为随着人工智能技术日益成熟,卷积神经网络(Convolutional Neural Network)作为最热门的机器学习算法之一,其应用范围逐步扩大,涉及生活中的方方面面,例如视频监控领域、无人驾驶和医疗器械等。在实际应用中,需要通过硬件平台加速神经网络的计算过程,建立高实时性、低功耗的可操作系统。现场可编程逻辑门阵列FPGA(Field Programmable Gate Array)作为一种包含丰富资源的可更新器件,具有低功耗、高性能特点,被广泛应用于加速卷积神经网络的硬件系统中。而采用ARM(Advanced RISC Machine)+FPGA的异构计算方式,不仅能够充分发挥FPGA并行计算的高性能和低功耗特性,还可以在较短的周期内完成硬件电路开发。由于目前FPGA异构计算方式大多应用于专用神经网络加速,关于通用神经网络的研究还比较匮乏。本文提出了一种采用ARM+FPGA异构的设计方法,通过PYNQ(Python Productivity for Zynq)平台设计出了一种能实现分类和目标检测任务的通用加速器。本文从通用加速器硬件电路设计的角度出发,着重分析了深层VGG16分类网络算法和YOLOv3-tiny目标检测网络算法的结构,剖析了卷积层、池化层和全连接层等通用性网络结构的计算过程,并深入研究了YOLO网络专用的路由(Route)层、上采样层和解码过程。最后实现了能完成分类和目标检测任务的通用神经网络加速器。本文的主要内容有:(1)分析了异构计算实现加速器的过程,采用了AXI(Advanced Extensible Interface)总线实现了PS(Process System)端和PL(Programmable Logic)端的数据搬运。并提出了一种通过硬件电路接口实现ARM与存储器交互的方法,使ARM端可以直接处理外部存储器中的数据,以提高硬件加速器的通用性。通过PYNQ平台,采用以太网通信的手段实现PC(Personal Computer)机与FPGA加速器的通信,完成整个通用卷积神经网络的加速应用系统的搭建。(2)对数据进行预处理以实现DSP(Digital Signal Process)单元的复用。通过数据排序以适应硬件FPGA乘加器的矩阵运算,进行BN融合以加速推理,并提出一种改进的对称量化方式将VGG16和YOLOv3-tiny的32位浮点型参数量化为16bit定点数,并在量化过程中针对YOLOv3-tiny的Route层采取校准方法,方便FPGA的部署。(3)采用一种引入校准坐标的方式实现卷积运算和池化运算的并行加速,完成通用的卷积模块和池化模块硬件电路搭建。采取宽维度和输出通道维度联合切片的方式,提高了FPGA片上缓存的利用率,减少了系统访存次数。基于维度变换的方式对并行矩阵运算进行改进,以适应切片方式并提高DSP复用的效率。针对VGG16网络和YOLOv3-tiny网络的差异,添加辅助运算完成上采样层和Route层的设计,完成能部署实现不同任务的通用卷积神经网络加速系统。基于ZCU-102平台进过测试,在频率150MHz的情况下,VGG16网络的加速性能为180.40GOPS,YOLOv3-tiny的加速性能为119.10GOPS,卷积层的加速性能峰值高达305.5GOPS,整个FPGA加速器的功耗为5.845w。与国内外相关领域加速器进行比较后,该设计性能优异。与CPU相比对神经网络的推理过程加速显著,与GPU相比能耗较低。结果表明本设计通过异构计算方法,在保证计算性能和低功耗的情况下,能够有效地实现分类和目标检测任务,突出了本设计的优越性。

基于部件检测与分割的服装图像检索研究与应用

这是一篇关于服装图像检索,Mask R-CNN,VGG16,相似度,加权和的论文, 主要内容为随着互联网的不断普及和服装电子商务的兴起,越来越多的用户通过电商平台购物服装,网上购买服装已经逐渐成了人们的重要消费方式之一,如何在海量的服装商品中高效准确地检索出用户心仪的服装成为了热门的研究方向。目前“以图搜图”技术主要依赖于整张图像特征提取的结果,不能关注到服装的部件,并且服装图像拍摄时背景一般比较复杂,导致服装图像检索准确率低,因此,本文提出一种基于部件检测与分割的服装图像检索方法。本文调研了目前比较流行的服装图像检索方法,并对其优劣点进行了深入研究,主要完成了以下工作:首先,本文通过对服装实例分割数据集iMaterialist Fashion进行转换,并进一步将衣袖分为短袖、中袖、长袖等类别,在较大样本服装图像标注数据集的基础上,训练Mask R-CNN以建立服装图像检测与分割的深度学习模型,从而实现服装图像的检测与分割。利用自训练的Mask R-CNN模型提取服装主体图像、衣领图像、衣袖类别、口袋位置,同时对衣袖类别、口袋位置进行编码以便于相似性比较。其次,在服装图像检索中,本文首先利用Mask R-CNN对图像进行检测与分割得到服装主体、衣领部件、衣袖类别和口袋位置等信息;然后采用VGG16对服装主体与衣领部件提取512维的特征;基于这些信息,将待检索服装与数据库中的服装逐一计算相似度。相似度的计算方式为服装主体及衣领的512维特征的余弦相似度以及衣袖、口袋相似度的加权和,其中衣袖是比较其类别的相似性,口袋是比较其位置的相似性。根据相似度的降序排列,向用户呈现检索结果。实验结果表明,该方法可以关注服装整体以及各个部件,从而能够实现服装款式或风格的检索。并且允许用户调整相似度的权值,可以返回最符合用户个性化需求的检索结果。最后,针对目前服装图像检索中忽略服装部件相似性的问题,本文设计并实现了基于部件检测与分割的服装检索方法的商城系统,通过使用本文提出的检索方法来实现服装商品检索。整个系统使用前后端分离的技术实现,客户端采用小程序框架,服务端采用Spring Boot框架,充分的考虑到了系统的跨平台性和横向扩展性。系统的功能主要包括登录注册模块、商品浏览与检索模块、购物车及支付模块、个人中心管理模块等。

基于部件检测与分割的服装图像检索研究与应用

这是一篇关于服装图像检索,Mask R-CNN,VGG16,相似度,加权和的论文, 主要内容为随着互联网的不断普及和服装电子商务的兴起,越来越多的用户通过电商平台购物服装,网上购买服装已经逐渐成了人们的重要消费方式之一,如何在海量的服装商品中高效准确地检索出用户心仪的服装成为了热门的研究方向。目前“以图搜图”技术主要依赖于整张图像特征提取的结果,不能关注到服装的部件,并且服装图像拍摄时背景一般比较复杂,导致服装图像检索准确率低,因此,本文提出一种基于部件检测与分割的服装图像检索方法。本文调研了目前比较流行的服装图像检索方法,并对其优劣点进行了深入研究,主要完成了以下工作:首先,本文通过对服装实例分割数据集iMaterialist Fashion进行转换,并进一步将衣袖分为短袖、中袖、长袖等类别,在较大样本服装图像标注数据集的基础上,训练Mask R-CNN以建立服装图像检测与分割的深度学习模型,从而实现服装图像的检测与分割。利用自训练的Mask R-CNN模型提取服装主体图像、衣领图像、衣袖类别、口袋位置,同时对衣袖类别、口袋位置进行编码以便于相似性比较。其次,在服装图像检索中,本文首先利用Mask R-CNN对图像进行检测与分割得到服装主体、衣领部件、衣袖类别和口袋位置等信息;然后采用VGG16对服装主体与衣领部件提取512维的特征;基于这些信息,将待检索服装与数据库中的服装逐一计算相似度。相似度的计算方式为服装主体及衣领的512维特征的余弦相似度以及衣袖、口袋相似度的加权和,其中衣袖是比较其类别的相似性,口袋是比较其位置的相似性。根据相似度的降序排列,向用户呈现检索结果。实验结果表明,该方法可以关注服装整体以及各个部件,从而能够实现服装款式或风格的检索。并且允许用户调整相似度的权值,可以返回最符合用户个性化需求的检索结果。最后,针对目前服装图像检索中忽略服装部件相似性的问题,本文设计并实现了基于部件检测与分割的服装检索方法的商城系统,通过使用本文提出的检索方法来实现服装商品检索。整个系统使用前后端分离的技术实现,客户端采用小程序框架,服务端采用Spring Boot框架,充分的考虑到了系统的跨平台性和横向扩展性。系统的功能主要包括登录注册模块、商品浏览与检索模块、购物车及支付模块、个人中心管理模块等。

基于部件检测与分割的服装图像检索研究与应用

这是一篇关于服装图像检索,Mask R-CNN,VGG16,相似度,加权和的论文, 主要内容为随着互联网的不断普及和服装电子商务的兴起,越来越多的用户通过电商平台购物服装,网上购买服装已经逐渐成了人们的重要消费方式之一,如何在海量的服装商品中高效准确地检索出用户心仪的服装成为了热门的研究方向。目前“以图搜图”技术主要依赖于整张图像特征提取的结果,不能关注到服装的部件,并且服装图像拍摄时背景一般比较复杂,导致服装图像检索准确率低,因此,本文提出一种基于部件检测与分割的服装图像检索方法。本文调研了目前比较流行的服装图像检索方法,并对其优劣点进行了深入研究,主要完成了以下工作:首先,本文通过对服装实例分割数据集iMaterialist Fashion进行转换,并进一步将衣袖分为短袖、中袖、长袖等类别,在较大样本服装图像标注数据集的基础上,训练Mask R-CNN以建立服装图像检测与分割的深度学习模型,从而实现服装图像的检测与分割。利用自训练的Mask R-CNN模型提取服装主体图像、衣领图像、衣袖类别、口袋位置,同时对衣袖类别、口袋位置进行编码以便于相似性比较。其次,在服装图像检索中,本文首先利用Mask R-CNN对图像进行检测与分割得到服装主体、衣领部件、衣袖类别和口袋位置等信息;然后采用VGG16对服装主体与衣领部件提取512维的特征;基于这些信息,将待检索服装与数据库中的服装逐一计算相似度。相似度的计算方式为服装主体及衣领的512维特征的余弦相似度以及衣袖、口袋相似度的加权和,其中衣袖是比较其类别的相似性,口袋是比较其位置的相似性。根据相似度的降序排列,向用户呈现检索结果。实验结果表明,该方法可以关注服装整体以及各个部件,从而能够实现服装款式或风格的检索。并且允许用户调整相似度的权值,可以返回最符合用户个性化需求的检索结果。最后,针对目前服装图像检索中忽略服装部件相似性的问题,本文设计并实现了基于部件检测与分割的服装检索方法的商城系统,通过使用本文提出的检索方法来实现服装商品检索。整个系统使用前后端分离的技术实现,客户端采用小程序框架,服务端采用Spring Boot框架,充分的考虑到了系统的跨平台性和横向扩展性。系统的功能主要包括登录注册模块、商品浏览与检索模块、购物车及支付模块、个人中心管理模块等。

基于机器视觉的包装袋缺陷检测

这是一篇关于机器视觉,包装袋,缺陷检测,随机森林,支持向量机,VGG16,ResNet34的论文, 主要内容为包装袋产品在人类生活和工业发展中扮演着重要的角色,其质量问题直接影响到内部产品的安全使用。传统的包装袋缺陷检测使用人工目检的方式来甄别,不仅无法连续、稳定地完成这高度重复性工作,且人工目检的速度也无法满足智能化生产的节奏。因此,本文主要探讨基于机器视觉技术来对包装袋进行缺陷检测,并使用机器人对包装袋进行保留和剔除,以提高包装袋缺陷检测的准确性和速度,推动包装智能化的发展。具体研究内容主要包括:首先,研究了一种基于特征融合与半监督协同训练随机森林的包装袋表面缺陷识别方法。使用感兴趣区域(Region of Interest,ROI)提取减少包装袋冗余信息,并通过改进的Canny算法进行边缘特征提取,同时对HSV颜色特征进行提取,将二者融合获得融合特征,以增加特征区分度;然后利用随机森林(Random Forest,RF)和支持向量机(Support Vector Machine,SVM)半监督协同训练,从无标签的样本中构建增强样本集,使用增强样本集对RF分类器进行训练,以提高包装袋表面缺陷的识别准确率。其次,探讨了一种基于知识迁移的包装袋封口热成像缺陷检测的方法。使用热成像仪获取包装袋封口的热成像图并采用小标签样本训练RF和SVM融合构建专家标注系统,对大量无标签样本进行打标操作;在此基础上,将打标得到的预测样本和标签样本组合成增强样本输入到微调VGG16(Visual Geometry Group 16)与微调Res Net34(Residual Neural Network 34)中进行训练和预测,使包装袋热封口缺陷的识别准确率提高。最后,设计了一种基于视觉的包装袋检测系统,并分析了其架构。简单介绍了该系统的硬件配置,并设计了包装袋缺陷自动检测系统的软件界面,实验验证了系统的可行性。综上所述,本文研究基于机器视觉的包装袋缺陷检测,对推动工业包装设备自动化、智能化有一定的实用价值。

基于卷积神经网络的电缆绝缘层厚度检测研究

这是一篇关于卷积神经网络,边缘检测,电缆绝缘层边缘,VGG16,ResNet50的论文, 主要内容为电缆在现代化基建工程中有极其重要的作用,电缆质量的问题直接关乎工程质量的好坏。因而,对电缆生产工厂和电缆质检部门来说,电缆的质量检测是极其重要且关键的任务。在进行电缆厚度测量时,首先要检测出电缆绝缘层边缘,电缆绝缘层边缘的检测效果直接关乎后续测量精度;因此,如何提升电缆绝缘层厚度测量的精度和效率变得尤为重要。目前,使用人工检测的方法,在实际应用中具有一定的局限性;而基于卷积神经网络的方法已经在图像识别领域有了很大的发展和突破。本文将基于卷积神经网络,1、提出一种基于改进的RCF算法的电缆绝缘层边缘检测方法;2、提出一种基于残差网络的电缆绝缘层边缘检测方法。并将两种算法在绝缘层厚度测量实验中比较测量精度,由实验结果可得基于残差网络的电缆绝缘层边缘检测算法的测量误差较小,检测速度较快,测量精度较高。本文主要工作和创新点如下:(1)研究了深度学习模型中的卷积神经网络主要因素和基础理论,为后续建立边缘检测算法模型打下基础。首先研究了卷积神经网络的工作原理和组成部分,卷积层的作用和卷积操作的过程,激活函数的分类和功能,池化层在网络中的主要作用和池化操作过程。其次研究了边缘检测中常用的卷积神经网络模型VGG16和Res Net残差网络,同时也是论文模型的主要架构;接着构建了电缆绝缘层数据集,用来训练所设计的电缆绝缘层边缘检测模型,并描述了如何增强数据集,以提升模型性能;最后给出了边缘检测实验中常用的评价指标,以评估所设计模型的边缘检测性能。(2)基于RCF算法在边缘检测中的应用,本文提出一种基于改进的RCF算法的电缆绝缘层边缘检测方法。首先,针对RCF算法中,由于高阶段卷积层中特征图分辨率降低,导致了图像特征损失的问题,本文在主干网络中将3、4阶段的池化层步长设为1。为了降低过程中高阶段卷积层的感受野变小的影响,将高阶段的卷积层替换为空洞卷积,进而提升图片特征的提取能力。其次,针对RCF算法在提取图像多尺度特征时较复杂的计算方式,在每个卷积层的侧输出网络加入尺度增强模块,提取侧输出网络特征图的多尺度特征。然后,针对高阶段卷积层侧输出网络特征图局部细节不足的问题,在侧输出网络加入级联结构,将低阶段的侧输出与高阶段的侧输出融合,提升高阶段特征图的局部细节信息。最后,将改进的RCF算法与其他边缘检测算法在电缆绝缘层数据集上进行检测精度的比较。对比发现,基于改进的RCF算法在电缆绝缘层边缘检测中有较好的检测效果,其数据集中ODS、OIS和AP值分别达到0.821、0.842和0.799,检测速度达到30fps。(3)基于残差网络在图像识别领域的应用,本文提出一种基于残差网络的电缆绝缘层边缘检测算法。在Res Net50网络中,特征图经过较多卷积层到达高阶段时,如果特征图过小,会导致高阶段卷积层对特征信息提取过少,基于此,本文首先引入空洞卷积残差块,并将模型的3、4阶段的部分残差块更换为空洞卷积残差块。其次,在每个阶段的侧输出网络中加入尺度增强模块,提取侧输出网络特征图的多尺度特征。然后,引入空间注意力模块,以减少特征图的背景噪声,使得到的物体轮廓更为清晰,进而提升模型边缘提取效果。最后,使用真实标签对每个阶段进行深度监督,并将基于残差网络的边缘检测算法与其他边缘检测算法进行检测精度的比较。在电缆绝缘层数据集上进行实验对比,该算法在电缆绝缘层上具有更好的检测精度。其数据集中ODS、OIS和AP值分别达到0.823、0.844和0.811,检测速度达到32fps。

基于部件检测与分割的服装图像检索研究与应用

这是一篇关于服装图像检索,Mask R-CNN,VGG16,相似度,加权和的论文, 主要内容为随着互联网的不断普及和服装电子商务的兴起,越来越多的用户通过电商平台购物服装,网上购买服装已经逐渐成了人们的重要消费方式之一,如何在海量的服装商品中高效准确地检索出用户心仪的服装成为了热门的研究方向。目前“以图搜图”技术主要依赖于整张图像特征提取的结果,不能关注到服装的部件,并且服装图像拍摄时背景一般比较复杂,导致服装图像检索准确率低,因此,本文提出一种基于部件检测与分割的服装图像检索方法。本文调研了目前比较流行的服装图像检索方法,并对其优劣点进行了深入研究,主要完成了以下工作:首先,本文通过对服装实例分割数据集iMaterialist Fashion进行转换,并进一步将衣袖分为短袖、中袖、长袖等类别,在较大样本服装图像标注数据集的基础上,训练Mask R-CNN以建立服装图像检测与分割的深度学习模型,从而实现服装图像的检测与分割。利用自训练的Mask R-CNN模型提取服装主体图像、衣领图像、衣袖类别、口袋位置,同时对衣袖类别、口袋位置进行编码以便于相似性比较。其次,在服装图像检索中,本文首先利用Mask R-CNN对图像进行检测与分割得到服装主体、衣领部件、衣袖类别和口袋位置等信息;然后采用VGG16对服装主体与衣领部件提取512维的特征;基于这些信息,将待检索服装与数据库中的服装逐一计算相似度。相似度的计算方式为服装主体及衣领的512维特征的余弦相似度以及衣袖、口袋相似度的加权和,其中衣袖是比较其类别的相似性,口袋是比较其位置的相似性。根据相似度的降序排列,向用户呈现检索结果。实验结果表明,该方法可以关注服装整体以及各个部件,从而能够实现服装款式或风格的检索。并且允许用户调整相似度的权值,可以返回最符合用户个性化需求的检索结果。最后,针对目前服装图像检索中忽略服装部件相似性的问题,本文设计并实现了基于部件检测与分割的服装检索方法的商城系统,通过使用本文提出的检索方法来实现服装商品检索。整个系统使用前后端分离的技术实现,客户端采用小程序框架,服务端采用Spring Boot框架,充分的考虑到了系统的跨平台性和横向扩展性。系统的功能主要包括登录注册模块、商品浏览与检索模块、购物车及支付模块、个人中心管理模块等。

基于部件检测与分割的服装图像检索研究与应用

这是一篇关于服装图像检索,Mask R-CNN,VGG16,相似度,加权和的论文, 主要内容为随着互联网的不断普及和服装电子商务的兴起,越来越多的用户通过电商平台购物服装,网上购买服装已经逐渐成了人们的重要消费方式之一,如何在海量的服装商品中高效准确地检索出用户心仪的服装成为了热门的研究方向。目前“以图搜图”技术主要依赖于整张图像特征提取的结果,不能关注到服装的部件,并且服装图像拍摄时背景一般比较复杂,导致服装图像检索准确率低,因此,本文提出一种基于部件检测与分割的服装图像检索方法。本文调研了目前比较流行的服装图像检索方法,并对其优劣点进行了深入研究,主要完成了以下工作:首先,本文通过对服装实例分割数据集iMaterialist Fashion进行转换,并进一步将衣袖分为短袖、中袖、长袖等类别,在较大样本服装图像标注数据集的基础上,训练Mask R-CNN以建立服装图像检测与分割的深度学习模型,从而实现服装图像的检测与分割。利用自训练的Mask R-CNN模型提取服装主体图像、衣领图像、衣袖类别、口袋位置,同时对衣袖类别、口袋位置进行编码以便于相似性比较。其次,在服装图像检索中,本文首先利用Mask R-CNN对图像进行检测与分割得到服装主体、衣领部件、衣袖类别和口袋位置等信息;然后采用VGG16对服装主体与衣领部件提取512维的特征;基于这些信息,将待检索服装与数据库中的服装逐一计算相似度。相似度的计算方式为服装主体及衣领的512维特征的余弦相似度以及衣袖、口袋相似度的加权和,其中衣袖是比较其类别的相似性,口袋是比较其位置的相似性。根据相似度的降序排列,向用户呈现检索结果。实验结果表明,该方法可以关注服装整体以及各个部件,从而能够实现服装款式或风格的检索。并且允许用户调整相似度的权值,可以返回最符合用户个性化需求的检索结果。最后,针对目前服装图像检索中忽略服装部件相似性的问题,本文设计并实现了基于部件检测与分割的服装检索方法的商城系统,通过使用本文提出的检索方法来实现服装商品检索。整个系统使用前后端分离的技术实现,客户端采用小程序框架,服务端采用Spring Boot框架,充分的考虑到了系统的跨平台性和横向扩展性。系统的功能主要包括登录注册模块、商品浏览与检索模块、购物车及支付模块、个人中心管理模块等。