基于图像语义特征和深度哈希特征检索的虚拟试穿系统研究
这是一篇关于服装检索,特征提取网络,深度哈希学习,轻量化,虚拟试穿的论文, 主要内容为互联网和电子商务技术近年获得了飞速发展,在线购物正成为人们日常生活中的普遍选择,用户可以根据自己的喜好在购物平台上挑选心仪的服装。目前在线服装购物平台虽然取得了巨大的发展,但仍存在以下不足:1)网购模式下,消费者无法根据图文信息预测自身的试穿效果,导致退换货率一直居高不下;2)虚拟试穿技术可以在一定程度上缓解网购平台大量退换货的压力,但现有的虚拟试穿体验主要依赖于用户主动选择,大多缺乏对感兴趣商品的推荐虚拟试穿功能,缺乏个性化和高准确性的推荐试穿体验。因此有必要开发具有精确检索能力的在线虚拟试穿系统。近年来,相较于传统算法,基于卷积神经网络模型语义特征的图像检索方法能够获得更优质的图像语义信息和更高的检索效率,但缺乏在复杂场景下对服装目标区域和背景信息的区分,导致检索准确率受限。而基于深度哈希方法的服装检索虽然能够实现高效的服装匹配,但对于不同类型的相似服装的区分能力仍需进一步提升。为解决上述问题,本文基于深度学习技术,设计了一种高准确率、低延时的基于服装图像检索的虚拟试穿系统。可以解决现有的虚拟试穿系统仅针对用户主动选择的服装图像虚拟试穿问题,更大程度地通过检索减少用户查询时间,丰富购物体验。论文主要从卷积神经网络和深度哈希方法两个方面对图像检索技术进行优化,为用户提供更加准确的服装检索推荐功能,同时考虑到设备的部署问题,进行了模型轻量化构建,主要研究内容如下:(1)针对现有图像检索方法在背景复杂和目标区域小等因素下对服装图像位置信息在空间上难以捕捉的问题。本文在Rep VGG结构中引入坐标注意力模块,加强了网络对目标服装在空间方向上的位置信息和长距离依赖关系的关注,准确定位服装对象所在区域,忽略冗余的周边背景信息。同时,为了加强网络对服装图像上下文信息的获取,提高特征利用率,构建了一个两分支空洞卷积特征融合结构FFM,可获得图像多尺度感受野特征信息。改进后的Rep VGG方法在In-shop服装检索数据集上分类准确率和检索准确率分别达到96.5%、85.71%,比原始算法提高了1.6%和2.45%。(2)针对现有深度哈希算法较少利用数据集全局监督信息,对分类困难样本生成的哈希码紧致性和分离性约束不足,以及未充分利用生成哈希码的类别级语义带来的语义信息丢失等问题。提出了一种非对称中心相似度哈希算法,该算法损失函数融合了对比损失、中心相似度损失和基于标签平滑的类别损失。其中,对比损失能够保持原始图像在汉明空间上的相似关系,类别级损失能够关注哈希学习中语义空间分布问题,增强类似哈希码的潜在关联性,中心相似度损失则引导哈希函数生成分布更加收敛的哈希码,有效改善哈希码对困难样本的判别能力。实验表明,所提算法在服装检索数据集上检索精度m AP达到83.5%,相较于深度哈希方法ADSH和CSQ方法分别提升了1.9%和11.2%。(3)针对深度哈希算法在移动终端部署模型参数量大、推断速度慢等问题,利用Mobile Net-V2主干网络进行轻量化改进,改进后的模型参数量为2.31M,较Res Net50-ACSQH模型下降了21.22M,检索精度仅下降了0.22%。为弥补模型轻量化带来的精度损失,通过引入FPN融合网络和无参注意力机制提升了对服装语义特征提取能力,优化后的Mobile Net-ACSQH模型相较Res Net50-ACSQH参数量减少了78.6%,精度提升了1.53%,满足了终端设备的实时性和精度要求。(4)最后,设计了一款基于服装图像检索的虚拟试穿系统。系统功能包括用户管理、服装检索、服装试穿、检索信息统计等。实现了虚拟试穿系统的个性化推荐功能。
基于深度学习框架下局部特征提取的服装实例检索方法的研究
这是一篇关于深度学习,目标检测,服装姿态估计,服装检索,CenterNet的论文, 主要内容为随着互联网和电子商务的发展,网络购物已经成为当前主流的消费方式之一,在传统的服装店销售额下降的情况下,越来越多的商家开始在网络上开店以占取市场份额,导致越来越多的买家开始在网络上购买服装。在过去的十年里,互联网上的服装图像越来越多,如何在海量的服装图像中检索到有效的服装图像成为一个挑战。一个出色的服装检索系统可以提升消费者的体验从而提升交易量,这对于电商平台来说是至关重要的。因此,本文在深度学习框架下对服装实例检索方法进行研究,本文的主要工作内容如下:1.本文使用现阶段最流行的基于关键点的目标检测模型Center Net进行服装检测。特征提取网络采用了两种不同的网络,深层聚合网络可以很好地融合语义特征和空间特征,参数量更大的堆叠沙漏网络可以获取更加准确的关键点信息。预测网络有三个分支,分别是目标中心点、中心点偏移量和目标宽高的预测。Center Net通过高斯核函数预测服装的中心点,其边框和偏移通过中心点坐标回归进行校正。实验证明堆叠沙漏网络在面积较小的服装、被遮挡的服装、受到背景的干扰、上衣和裙子凑在一起容易被辨认为连衣裙这几种情况下,检测效果优于深层聚合网络。2.本文在目标检测网络模型的基础上添加关键点检测相关的预测分支构建服装姿态估计网络模型,Deep Fashion2数据集中不同服装类型的关键点个数一般不同,本文选择了数量较多且具有代表性的服装类型:短袖上衣、长袖上衣、长裤、短袖连衣裙。加载相应特征提取网络训练好的最优目标检测模型进行训练,这样可以加快服装姿态估计模型的收敛速度。添加的预测分支分别为关键点、关键点偏移量和关键点到中心点距离的预测。前两个预测可以确定关键点的位置,最后一个预测通过关键点和中心点的相对位置关系对关键点的位置进行再次优化,这样可以保证服装姿态估计的效果。在遮挡、背景干扰等情况下,堆叠沙漏网络的关键点定位更加准确,服装姿态估计效果更好。3.本文使用Res Net-50对目标区域的图像进行特征提取,之后通过两种不同方式进行特征提取:通过全局池化提取服装的全局特征;或者结合关键点的信息提取聚集在服装关键点部位的局部特征,然后将提取的局部特征和全局特征进行融合。接下来我们对提取的服装特征进行分类训练,并使用三元组损失函数进行优化。本文使用了另一种度量学习损失函数N-pair loss,该损失函数在训练时,通过加载N对样本进行训练,每个样本都对应着一个正样本和N-1个负样本,充分考虑了不同负样本对训练的影响,实验证明检索效果要好于之前的三元组损失函数。
基于图像语义特征和深度哈希特征检索的虚拟试穿系统研究
这是一篇关于服装检索,特征提取网络,深度哈希学习,轻量化,虚拟试穿的论文, 主要内容为互联网和电子商务技术近年获得了飞速发展,在线购物正成为人们日常生活中的普遍选择,用户可以根据自己的喜好在购物平台上挑选心仪的服装。目前在线服装购物平台虽然取得了巨大的发展,但仍存在以下不足:1)网购模式下,消费者无法根据图文信息预测自身的试穿效果,导致退换货率一直居高不下;2)虚拟试穿技术可以在一定程度上缓解网购平台大量退换货的压力,但现有的虚拟试穿体验主要依赖于用户主动选择,大多缺乏对感兴趣商品的推荐虚拟试穿功能,缺乏个性化和高准确性的推荐试穿体验。因此有必要开发具有精确检索能力的在线虚拟试穿系统。近年来,相较于传统算法,基于卷积神经网络模型语义特征的图像检索方法能够获得更优质的图像语义信息和更高的检索效率,但缺乏在复杂场景下对服装目标区域和背景信息的区分,导致检索准确率受限。而基于深度哈希方法的服装检索虽然能够实现高效的服装匹配,但对于不同类型的相似服装的区分能力仍需进一步提升。为解决上述问题,本文基于深度学习技术,设计了一种高准确率、低延时的基于服装图像检索的虚拟试穿系统。可以解决现有的虚拟试穿系统仅针对用户主动选择的服装图像虚拟试穿问题,更大程度地通过检索减少用户查询时间,丰富购物体验。论文主要从卷积神经网络和深度哈希方法两个方面对图像检索技术进行优化,为用户提供更加准确的服装检索推荐功能,同时考虑到设备的部署问题,进行了模型轻量化构建,主要研究内容如下:(1)针对现有图像检索方法在背景复杂和目标区域小等因素下对服装图像位置信息在空间上难以捕捉的问题。本文在Rep VGG结构中引入坐标注意力模块,加强了网络对目标服装在空间方向上的位置信息和长距离依赖关系的关注,准确定位服装对象所在区域,忽略冗余的周边背景信息。同时,为了加强网络对服装图像上下文信息的获取,提高特征利用率,构建了一个两分支空洞卷积特征融合结构FFM,可获得图像多尺度感受野特征信息。改进后的Rep VGG方法在In-shop服装检索数据集上分类准确率和检索准确率分别达到96.5%、85.71%,比原始算法提高了1.6%和2.45%。(2)针对现有深度哈希算法较少利用数据集全局监督信息,对分类困难样本生成的哈希码紧致性和分离性约束不足,以及未充分利用生成哈希码的类别级语义带来的语义信息丢失等问题。提出了一种非对称中心相似度哈希算法,该算法损失函数融合了对比损失、中心相似度损失和基于标签平滑的类别损失。其中,对比损失能够保持原始图像在汉明空间上的相似关系,类别级损失能够关注哈希学习中语义空间分布问题,增强类似哈希码的潜在关联性,中心相似度损失则引导哈希函数生成分布更加收敛的哈希码,有效改善哈希码对困难样本的判别能力。实验表明,所提算法在服装检索数据集上检索精度m AP达到83.5%,相较于深度哈希方法ADSH和CSQ方法分别提升了1.9%和11.2%。(3)针对深度哈希算法在移动终端部署模型参数量大、推断速度慢等问题,利用Mobile Net-V2主干网络进行轻量化改进,改进后的模型参数量为2.31M,较Res Net50-ACSQH模型下降了21.22M,检索精度仅下降了0.22%。为弥补模型轻量化带来的精度损失,通过引入FPN融合网络和无参注意力机制提升了对服装语义特征提取能力,优化后的Mobile Net-ACSQH模型相较Res Net50-ACSQH参数量减少了78.6%,精度提升了1.53%,满足了终端设备的实时性和精度要求。(4)最后,设计了一款基于服装图像检索的虚拟试穿系统。系统功能包括用户管理、服装检索、服装试穿、检索信息统计等。实现了虚拟试穿系统的个性化推荐功能。
基于深度学习框架下局部特征提取的服装实例检索方法的研究
这是一篇关于深度学习,目标检测,服装姿态估计,服装检索,CenterNet的论文, 主要内容为随着互联网和电子商务的发展,网络购物已经成为当前主流的消费方式之一,在传统的服装店销售额下降的情况下,越来越多的商家开始在网络上开店以占取市场份额,导致越来越多的买家开始在网络上购买服装。在过去的十年里,互联网上的服装图像越来越多,如何在海量的服装图像中检索到有效的服装图像成为一个挑战。一个出色的服装检索系统可以提升消费者的体验从而提升交易量,这对于电商平台来说是至关重要的。因此,本文在深度学习框架下对服装实例检索方法进行研究,本文的主要工作内容如下:1.本文使用现阶段最流行的基于关键点的目标检测模型Center Net进行服装检测。特征提取网络采用了两种不同的网络,深层聚合网络可以很好地融合语义特征和空间特征,参数量更大的堆叠沙漏网络可以获取更加准确的关键点信息。预测网络有三个分支,分别是目标中心点、中心点偏移量和目标宽高的预测。Center Net通过高斯核函数预测服装的中心点,其边框和偏移通过中心点坐标回归进行校正。实验证明堆叠沙漏网络在面积较小的服装、被遮挡的服装、受到背景的干扰、上衣和裙子凑在一起容易被辨认为连衣裙这几种情况下,检测效果优于深层聚合网络。2.本文在目标检测网络模型的基础上添加关键点检测相关的预测分支构建服装姿态估计网络模型,Deep Fashion2数据集中不同服装类型的关键点个数一般不同,本文选择了数量较多且具有代表性的服装类型:短袖上衣、长袖上衣、长裤、短袖连衣裙。加载相应特征提取网络训练好的最优目标检测模型进行训练,这样可以加快服装姿态估计模型的收敛速度。添加的预测分支分别为关键点、关键点偏移量和关键点到中心点距离的预测。前两个预测可以确定关键点的位置,最后一个预测通过关键点和中心点的相对位置关系对关键点的位置进行再次优化,这样可以保证服装姿态估计的效果。在遮挡、背景干扰等情况下,堆叠沙漏网络的关键点定位更加准确,服装姿态估计效果更好。3.本文使用Res Net-50对目标区域的图像进行特征提取,之后通过两种不同方式进行特征提取:通过全局池化提取服装的全局特征;或者结合关键点的信息提取聚集在服装关键点部位的局部特征,然后将提取的局部特征和全局特征进行融合。接下来我们对提取的服装特征进行分类训练,并使用三元组损失函数进行优化。本文使用了另一种度量学习损失函数N-pair loss,该损失函数在训练时,通过加载N对样本进行训练,每个样本都对应着一个正样本和N-1个负样本,充分考虑了不同负样本对训练的影响,实验证明检索效果要好于之前的三元组损失函数。
基于感兴趣区域和特征融合的服装图像检索研究
这是一篇关于感兴趣服装区域提取,服装关键点定位,服装检索,深度学习,哈希编码的论文, 主要内容为网络零售已经是居民生活中不可或缺的一部分,2018年的额度首次突破九万亿。服装类产品作为需求量最大的网络零售商品之一,如何让用户快速有效地检索到心仪的服装成为各大电商平台考虑的重要任务。针对当前主流的基于文本的服装检索方法容易受到用户对图像描述的主观因素的影响,本文对基于内容的服装图像检索方法展开了系统的研究,并提出了一套基于感兴趣区域和特征融合的深度学习方法。论文首先是提取感兴趣的服装区域,以消除背景的影响。针对常规目标检测算法容易出现丢失服装关键点的问题,提出了基于关键点推理的算法,以获得关键点包含率高的感兴趣服装区域。论文接着实现感兴趣服装区域内关键点的精准定位,为提取关键点周围的局部信息做准备。针对回归方法对服装关键点坐标定位精度不高的问题,本文利用特征图上的响应值计算关键点的位置信息,并在所用网络模型的后端加上一个反卷积模块,对特征图进行上采样以提高特征图的分辨率,从而获得更高的定位精度。在上述两步工作的基础上,论文再分别提取感兴趣服装区域的全局特征和各关键点周围的局部特征,并将所有的特征进行通道约束的融合,融合后的特征用于服装图像检索,其性能优于无通道约束的融合。论文最后考虑到服装检索任务中检索效率和检索精度之间的矛盾,提出了基于带权哈希特征和服装款式分类的多任务服装检索方法,该方法能够根据具体需求在检索效率和检索精度之间实现灵活的选择。本文上述每步提出的算法,其性能都在Inshop和Consumer2shop等公开的数据集上得到了实验验证。
基于图像融合的高分辨率平面化衣服生成算法研究
这是一篇关于生成对抗网络,平面化服装图像,超分辨率,图像融合,服装检索的论文, 主要内容为随着互联网技术的不断进步与发展,网络购物平台的用户数量与日俱增。在众多可供浏览与购买的在线商品中服装占据了较大比例与营收份额。在此背景下,如何高效地检索、推荐在线服装商品成为业界亟待解决的难题。为了解决此问题,需要设计能够有效获取特定服装图像特征的方法用以保证服装检索、推荐系统的精度。传统方法一般利用物体检测技术对图像中的服装区域进行探测与切割,并利用切割出的图像作为后续系统的输入。但是,此种方法难免会因原始图像中复杂的背景、服装的不规则形变而引入大量噪声,继而影响抽取的服装特征质量。近期改进的方法则直接利用模特图像作为输入,通过图像生成技术生成白色背景的整洁平面服装图像来解决以上的噪音问题。此类方法能有效地去除服装区域的各类干扰,具有较大的优势。但现有的生成技术对于输入服装图像的质量要求较为严苛,且难以还原服装区域纹理图案等特征,无法生成保真度较高的高分辨率图像。若能解决以上问题,将有效提升抽取服装特征的质量,继而提升后续系统的性能。现有的生成方法中生成对抗网络的效果较为优秀,基于其实现的图像转换技术已用于许多领域。本文针对已有的生成对抗网络平面服装生成技术进行了改进,提出了一种基于图像融合的低分辨率平面服装转换方法,并以此为基础进一步提出了一种高分辨率平面服装生成方法。本文具体工作包括:(1)利用基于循环一致及特征损失的生成对抗网络模型生成具有真实纹理的平面服装模板;(2)使用薄板样条采样技术将输入服装与生成的服装模板进行对齐以保留服装细节,并基于图像融合技术将平面服装模板与扭曲服装进行融合,生成与输入图像特征一致的低分辨率平面服装图像;(3)基于超分辨率技术对生成的平面服装进行分辨率提升,并在高分辨率下对生成的平面服装进行进一步地融合,实现服装细节还原。为了验证所提方法的优越性,本文通过网络爬虫技术采集了大量的服装图像数据,构建了服装区域图像与平面化服装图像的样本对数据集,并以此为基础进行了充分地实验验证。实验效果表明,本文方法生成的平面服装保留了原始服装的特征,在真实性及检索性能上均优于现有的服装转译模型。
基于深度学习的服装检索与搭配的研究与应用
这是一篇关于服装检索,胶囊网络,边界挖掘损失,服装搭配,图卷积网络,度量学习,类型感知解码器的论文, 主要内容为随着电商平台日益蓬勃发展,人们越来越习惯在线购买服装。为了更好地购物,人们希望电商平台能够提供服装的检索功能,并在自己购买服装的时候能够提供适宜的服装搭配建议。用户有着这样的需求而且网上有着海量的服装图片,在这个背景下各大电商都希望能够在服装的检索和搭配上给用户提供更好的服务从而增加自己的竞争力。服装的检索基于对图片特征更好地理解,服装的搭配基于对服装之间兼容性关系地更好地应用,本文利用深度学习探究了服装检索和搭配的这两个重要问题,本文的主要工作如下:将胶囊网络(CapsNet)进行改进作为本文的服装检索模型。原始胶囊网络的多角度理解物体能力较强,但是特征提取层只有一层卷积层,无法适用于复杂的现实数据集中。本文使用添加SE-Block的残差模块作为胶囊网络的特征提取模块,增强了它的特征提取能力使其能够适用于服装图片领域。不同于大多数服装检索模型使用三元组损失(Triplet Loss)来训练,本文使用边界挖掘损失(Margin Sample Mining Loss,MSML)作为度量学习的损失函数来训练优化模型。在Deepfashion数据集上进行实验,发现本文的模型不仅参数个数少,并且与基于卷积网络的服装检索模型相比,查全率上也有所提高。将图卷积自编码(Graph AutoEncoder,GAE)模型用于服装搭配。将服装当作图中的一个节点,两个服装能够搭配就是两个服装节点之间有着边存在,因此图中就包含了所有服装搭配的信息。使用图卷积网络(Graph Convolutional Network,GCN)作为编码器学习服装相互之间的搭配关系。因为人们日常挑选不同类型的衣服看重的属性不同,在此常识下提出一种可以感知到服装类型的解码器(Type-aware Decoder)。在Polyvore服装搭配数据集上进行实验,发现在扩充的FITB(Fill-InThe-Blank)任务中,各个选项数目下本文的模型都取得了最优的效果,当选项个数为4时,预测准确率能达到0.93。在预测搭配是否合理的二分类任务中,AUC值可以达到0.99,与其他模型相比结果也是最优。最后指出了对于本文所提出服装检索模型和服装搭配模型的未来改进方向。对于本文的服装检索模型,可以从使用更先进的度量学习方式、在网络中实现注意力机制等角度来改善模型。对于本文的服装搭配模型,可以从使用更多的服装文本属性信息、实现用户个性化的角度来对其进行优化。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设小屋 ，原文地址：https://m.bishedaima.com/lunwen/48693.html
