基于全卷积生成对抗网络的脑肿瘤图像分割

这是一篇关于脑肿瘤,类别不平衡,全卷积网络,生成对抗网络,深度学习的论文, 主要内容为脑肿瘤作为颅内组织疾病,治疗难度大,致死率高,严重危害人类健康。随着医学影像技术的飞速发展,具有非侵入式成像技术的核磁共振成像成为诊断与治疗脑肿瘤的首选方式。由于脑肿瘤具有位置不确定性,形状多样性和大小复杂性等特点,对临床进行诊断治疗造成很大困难。目前,脑肿瘤MRI图像分割主要依赖于临床医生手动标注,效率低下的同时易引入注释误差。因此,高效的精确自动分割脑肿瘤MRI图像能够辅助医生及时诊断,制定手术和术后康复计划,具有重要的现实意义。近年来,计算机视觉领域飞速发展,许多基于深度学习的算法应用于医学图像领域,有助于脑肿瘤等疾病的诊断治疗,具有重要的研究意义。研究发现样本类别不平衡及模型设计等问题导致脑肿瘤分割精度有限,基于此,本文利用了全卷积网络和生成对抗网络对脑肿瘤MRI图像分割任务进行了深入研究,具体研究内容如下:首先提出了一种基于全卷积网络的脑肿瘤分割方法(BTSU-Net),该方法以U-Net为基础,精简一层网络结构来减少图像低级语义信息的丢失。同时为了减轻样本类别不平衡问题,组合了加权交叉熵损失和广义骰子损失,以减小训练样本与评价指标之间的差异,使模型可以集中学习困难样本。通过对比实验证明,该方法能够有效提高脑肿瘤分割精度。其次提出了一种基于感受野和注意力机制的全卷积网络(ARFU-Net)进行多模态脑肿瘤图像分割的方法。该方法以BTSU-Net为基础,将具有多分支卷积和空洞卷积的感受野模块嵌入到模型的解码器和编码器中,增大感受野的同时融合多尺度信息,能够更好的定位肿瘤位置。此外,ARFU-Net在解码器和编码器间的跳跃连接中嵌入了注意力模块,减少了冗余信息的同时有效增强采样特征的局部响应。该方法不仅可以有效分析脑肿瘤图像的复杂分布,而且有利于提取出更详细的肿瘤信息。针对该模型进行了大量对比试验,在Bra Ts2018数据集上各肿瘤病灶区域分割精度分别为88.7%、81.1%和77.2%,在Bra Ts2019数据集上的分割精度分别为87.8%、79.4%和72.2%,实验结果表明ARFU-Net在脑肿瘤分割任务中体现了高精度和有效性。最后提出了一种基于生成对抗网络的脑肿瘤语义分割方法(NFGAN)。该方法以生成对抗网络为基础,脑肿瘤MRI图像为模型输入,采用改进的全卷积网络(ARFUNet)作为生成器来实现端到端的分割结果。同时采用判别卷积网络(DCN)作为鉴别器来增加对抗训练,进一步提升模型分割性能。NFGAN的生成器与鉴别器在对抗训练时,能够关注数据的潜在概率密度,学习样本数据本质特征。针对该模型进行大量实验,在Bra Ts2018数据集上各类别肿瘤分割精度分别为89.2%,82.7%和78.4%,在Bra Ts2019数据集上的分割精度分别为88.1%、80.9%和73.5%,结果显示脑肿瘤分割精度进一步提升。

基于多层级联结构的输电线路销钉缺陷检测研究与应用

这是一篇关于小目标检测,销钉缺陷,输电线路巡检,类别不平衡的论文, 主要内容为随着十四五规划的展开,稳定的电力供应成为保障经济社会正常运转的关键一环。销钉是输电线路中用于固定螺母的器件,销钉的脱落会导致输电线路的不稳定,极易引起跳闸事故。近几年,基于深度神经网络的目标检测技术获得了飞速发展,尤其在电力运维中与无人机巡检进行结合,提高了巡检人员的巡检效率和人身安全性。因此一种基于深度神经网络的销钉缺陷检测方法对巡检人员完成销钉缺陷的巡检工作,对维护输电安全具有重要的研究意义和应用价值。销钉缺陷检测主要存在三个挑战,最大的挑战在于销钉是绝对意义上的小物体;其次,复杂的自然环境背景和邻近的大量相似机械部件加剧了检测难度;第三,在数据层面上存在正常状态销钉和缺失状态销钉的类别不平衡问题。当前的销钉缺陷检测研究分为基于传统图像处理技术的检测方法和基于深度神经网络的目标检测模型的方法,但检测销钉缺陷的性能依然不能满足工业界的实际需求。本文介绍一种基于多层级联结构的销钉缺陷检测方法,其在性能表现上优于直接使用单个深度神经网络的目标检测模型进行销钉缺陷检测的方法。本文的检测方法分为四个模块,分别为图像预处理模块、冗余滑动窗口分割模块、销钉图像定位模块和销钉状态分类模块。通过多层级联的方式,不仅逐步提高销钉图像在待检测图像中的区域占比,放大销钉图像的特征,还能够过滤掉无关的复杂背景。为训练和测试本文提出的销钉缺陷检测方法,本文构建了三个基于真实输电线路场景下的销钉样本数据集,在构建过程中采用数据增强的方式对销钉样本数据集中的类别不平衡的问题进行了改进。本文提出的基于多层级联结构的销钉缺陷检测方法和其中的重要模块在数据集上进行了大量实验,实验结果表明,本方法在检测缺失销钉上具有很高的准确率,并且针对改进部分的消融实验验证了其有效性。此外,本文面向巡检人员设计和实现了一个销钉缺陷检测系统。系统使用Python语言进行开发,采用B/S架构,前后端分离的开发方式。前端选用Vue等技术实现上传巡检图、调用部署的销钉缺陷检测方法以及查看对销钉的检测结果等界面。后端选用Flask作为Web框架,使用关系型数据库MySQL保存巡检图和检测结果,使用gRPC的方式调用通过Paddle Serving部署的销钉缺陷检测模型。

面向数据长尾分布的实体关系抽取研究

这是一篇关于实体关系抽取,深度学习,长尾分布,类别不平衡,少样本学习的论文, 主要内容为现如今人工智能伴随着机器学习和深度学习等相关技术的快速发展,已经在日常生活、工作中处处发挥着便利我们的作用,但是智能机器进一步认知人类世界离不开对知识的理解。知识图谱以结构化的形式存储着数据知识,用于描述客观世界中的抽象概念、命名实体以及相互关联关系。知识图谱构建质量依赖于实体关系抽取的性能。目前基于深度学习的实体关系抽取模型依赖于大量的标注数据,而真实应用落地场景中少样本类别所占比例较大,数据长尾分布的特点不容忽视。数据长尾分布场景下,如何能够合理利用头部常见类别的较多标注数据解决尾部少样本类别抽取性能较差的问题,是目前亟需解决的科研课题。目前面向实体关系抽取数据的长尾分布特点,分别有针对整体分布下类别不平衡场景的研究,以及专门针对长尾部分少样本数据场景的抽取研究。本文基于这两方面研究视角分别提出了数据长尾分布场景下改善实体关系抽取性能的算法模型。在整体分布类别不平衡研究视角,提出解耦现有抽取模型的角度看待抽取问题,从而将提升尾部类别抽取性能的关键放在了分类层模块参数学习上;在针对尾部数据少样本研究视角,提出了充分利用实体和关系的交互信息,通过构建多类型原型的方式桥接文本信息和知识表征信息以提升尾部少样本数据的抽取性能。具体来讲,本文研究内容包括如下两个方面:1.针对整体数据长尾分布导致的类别不平衡研究视角,本文提出了将现有基于深度学习的实体关系抽取模型解耦看待。当模型解耦为用于抽取文本语义信息的表征层和针对特定类别范式的分类层后,观察探针解耦实验结果发现常用的自然采样方式学习到的表征能力高于数据重采样、损失函数重加权等类别重平衡处理技巧。此时进一步提出采用基于关系注意力的路由机制RAR(Relational Attention Routing)分类层参数学习算法,让关系层胶囊更均衡的竞争表征层文本信息胶囊的注意力,并结合关系胶囊层均分初始化及跨胶囊层多次路由迭代的优势,得以提升整体数据的抽取性能。在常用和人为构造的长尾实体关系抽取数据集上进行实验,得到验证所提方法的有效性,在不降低头部类别抽取性能的前提下提升尾部不常见类别的抽取能力。2.针对长尾部分少样本数据研究视角,为了充分利用知识三元组中实体对和关联关系之间的隐式交互,结合知识表示学习中的翻译算法,提出了一种多原型嵌入网络模型MPE-Net(Multi-Prototype Embedding Network)用于解决少样本场景中的实体关系联合抽取问题。具体来说,模型设计了一种混合的原型学习机制,将实体对和关系的文本、知识桥接在一起,从而让模型在学习过程注入实体和关系之间的隐式关联。此外,为了增强模型学习原型的效率和性能,同时引入了一种原型感知的正则约束,使得同类别的原型学习更加集聚,不同类别原型间的空间距离进一步拉大。

基于极限学习机的主动学习算法研究

这是一篇关于主动学习,多标记主动学习,极限学习机,共享近邻聚类,类别不平衡的论文, 主要内容为随着存储设备、网络以及压缩技术的快速发展,各类数据呈现爆炸式增长的趋势,这导致了以下的场景越来越普遍:获取大量的实例往往是容易的,而对这些实例进行标注的过程却是异常昂贵且耗时的。针对这一困境,主动学习作为一种重要的机器学习范式被提出。本文聚焦于主动学习的查询策略设计,这是主动学习技术的关键,查询策略设计的好坏直接影响着主动学习的整体性能。针对单标记学习场景和多标记学习场景,本文分别设计了两种不同的主动学习查询策略以适应不同的情况。对于单标记学习场景,现有的查询策略往往只考虑开发能力,而忽略了探索能力,这将导致冷启动问题,增加模型陷入局部最优的风险。为了解决这一问题,本文提出了一种名为AL-SNN-ELM(Active learning-Shared Nearest Neighbor-Extreme learning machine)的改进算法。对于多标记学习场景,查询策略的设计难点如下:第一,相较于单标记学习场景具有更高昂的标注成本;第二,难以衡量实例在所有标签上的统一信息量;第三,在多标记场景中,类别不平衡问题的广泛存在。为了解决上述几个问题,本文提出了一种名为PLVI-CE(Predicted label vectors inconsistency and cross entropy measure)的多标记主动学习查询策略。具体来说,本文的研究内容与创新点主要涵盖以下两点。一、提出一种混合探索与开发的主动学习算法AL-SNN-ELM是一个包含探索子阶段和开发子阶段的主动学习算法。在探索子阶段中,使用共享近邻聚类算法(Shared Nearest Neighbor,SNN)来探索样本的空间分布,查询最具有代表性的实例。在开发子阶段中,将极限学习机(Extreme Learning Machine,ELM)的实际输出转化为后验概率,然后通过最大边缘采样方法来查询具备不确定性的实例。换言之,在探索子阶段中通过观察数据的全局分布来粗略定位一个大致精准的决策边界,随后在开发子阶段中通过查询集中于决策边界周围的实例,从而进一步精确地调整决策边界。此外,为了降低主动学习的时间复杂度,本文采用了在线顺序极限学习机(Online Sequence-Extreme Learning Machine,OS-ELM)来代替传统的ELM,在主动学习的训练过程中,每次迭代后不需要重新训练分类模型,而只需要在前一次迭代的结果上进行更新即可。二、提出一种同时考虑不确定性和多样性的多标记主动学习算法设计了一种名为PLVI-CE的多标记主动学习查询策略,该算法同时考虑了对不确定性和多样性的度量。其中,不确定性是由来自同一个未标注实例的两种预测标签向量之间的不一致性来衡量的,而每个未标注实例的多样性是由其与所有已标注实例的后验概率的平均差异来衡量的。此外,为了应对多标记学习场景下类别不平衡问题所带来的影响,本文尝试采用标签加权的极限学习机(Label-weighted Extreme Learning Machine,LW-ELM)作为多标记主动学习框架中的基础分类模型。这是因为考虑到LW-ELM以下的几个优势:第一,较低的计算成本;第二,较强的泛化性能;第三,能够直接应用于具有类别不平衡分布的多标记数据,以便设计的主动学习查询策略能够在多标记场景下提供近似无偏的查询。针对AL-SNN-ELM算法而言,本文在22个UCI基准数据集上进行大量实验,其实验结果表明,所提出的算法与对比算法相比有明显的性能提升,其中在aggregation数据集上相较于AL-ELM算法的ALC值提升了3.5%。这验证了在设计主动学习的查询策略时,同时考虑探索能力和开发能力是有必要的。针对PLVI-CE算法而言,本文在12个基准多标记数据集上进行大量实验,其实验结果表明,与目前最先进的几种多标记主动学习算法相比,所提出的PLVI-CE算法的有效性和优越性。其中所提出的算法相较于最先进的对比算法AUDI在flags数据集上的Micro-1指标上提升了2.61%,在Macro-1指标上提升了2.14%,在汉明损失指标上提升了2.58%。

面向演化数据流的可靠性半监督学习研究

这是一篇关于在线学习,半监督学习,可靠性,深度度量学习,类别不平衡的论文, 主要内容为随着5G应用和物联网技术的飞速发展,数据流挖掘所涉及的应用场景变得越来越丰富。例如,农业物联网数据流挖掘、网络数据流入侵检测、推荐系统等领域都有数据流挖掘的需求。与传统的静态数据相比,演化数据流数据通常具有如下特点:(1)数据流实时性强且数据量大,导致对数据标注的成本高且难度大;(2)数据流分布具有动态演化的特性,这使得传统模型无法自适应数据分布的动态变化;(3)类别动态不平衡问题,即数据的类别不平衡比例和类别可能随着数据流演化而发生变化。虽然目前也有不少工作针对上述问题进行研究,但这些工作也存在各种问题与不足之处包括:(1)大部分研究直接通过对原始数据进行学习,缺乏对数据更精细的描述且原始数据可能无法满足半监督学习假设;(2)在利用无标签数据进行训练时,缺乏对样本可靠性的进一步分析,无法保证算法稳定的可靠性;(3)现有研究对类别不平衡检测灵活度较差,无法有效加强对少数类的表达能力。针对上述问题,本研究的主要创新点如下:第一、针对数据流原始表征可能无法满足半监督假设而导致的可靠性问题,本研究提出了基于深度对比度量的多代理半监督类别均衡表征学习算法,算法通过端到端的类别均衡半监督网络学习到类别均衡的低维样本表征,然后基于类别均衡的表征,提出多代理度量学习,使得最终学到的表征之间更具有区分度,更符合半监督假设,提高数据流半监督模型可靠性。第二、针对概念漂移下半监督数据流算法的可靠性问题,在基于上述表征的前提下,本研究提出了基于动态微簇的可靠性维护策略,算法为每个微簇维护一个可靠性值,并且仅使用预测可靠性高于一定阈值的样本训练模型,同时利用有标签数据局部分布一致性对其邻居微簇可靠性进行更新。算法还维护最新的无标签微簇,并使用可靠性标签传播的方法利用可靠的无标签微簇。第三、针对数据流类别不平衡检测灵活度差,少数类表达能力不足的问题,本研究提出了基于可靠性微簇的类别不平衡检测和处理方法,通过利用微簇统计各类别样本数,同时提出了基于人工少数类过采样方法的方法,当检测到类别不平衡时,通过生成一定数量的少数类样本来提高模型对少数类的学习能力。本文通过在真实数据集和人工数据集上进行大量的实验,实验结果表明算法能有效提高模型的可靠性和有效性。

B2B平台的反欺诈问题研究

这是一篇关于B2B平台,反欺诈,数据挖掘,类别不平衡,代价敏感性的论文, 主要内容为B2B电商平台上的欺诈问题一直困扰着电商平台的经营者,数据挖掘技术的出现,为电商平台的反欺诈工作带来了很大的帮助,然而数据挖掘技术在解决B2B电商平台的问题上,仍然存在一些不足：第一,在线欺诈问题描述性的研究较多,提出实际解决方案的比较少；第二,缺乏用来进行实验的真实数据；第三,以往研究很少考虑到类别不平衡问题与代价敏感问题。为了能够有效解决B2B平台上的欺诈问题,本研究选择了一个集成的分类算法-EasyEnsemble。EasyEnsemble分类算法在解决类别不平衡问题分类的过程包括两个步骤。第一步利用随机下采样的方法,将大类分成多个子集,每个子集与小类的样本是平衡的,并且每个大类的子集与小类样本结合起来作为训练集得到多个分类器；第二步使用AdaBoost集成技术将这些分类器集合起来。本文所用的数据来自于国内一家大型B2B电子商务平台公司的真实数据,选取2011年和2012年两年的用户信息数据共2760条,其中非欺诈的记录2500条,欺诈的记录260条。然后我们使用这些数据进行实验,通过将EasyEnsemble算法与常用的分类算法进行实验对比,发现EasyEnsemble算法的确是解决数据类别不平衡性问题的一个有效的算法,该方法解决了类别不平衡的分类问题,提高了分类的精确性,降低了误分类的比例,进而也解决了代价敏感问题。最后我们对EasyEnsemble算法处理样本数据得到的实验结果进行了深入的商业分析,这为电商平台的反欺诈工作提供了重要支持。本研究的贡献在于：首先,使用EasyEnsemble算法,有效地解决了类别不平衡问题,提高了分类正确率,降低了两类误判率,并同时解决了代价敏感问题,为今后的研究提供了一种新的思路。第二,本文使用的数据是B2B平台的真实数据,分类的效果更有说服力,实验结果更有商业意义。第三,使用有效算法对真实数据进行处理,并对结果进行了深入的分析,这给国内电商平台网站进行反欺诈的工作提供了实际的指导建议,而且为这些企业更好的进行电子商务给予了重要帮助。

面向在线交易的欺诈检测系统设计与实现

这是一篇关于异常检测,风控系统,类别不平衡,无监督学习,COPOD-LODA的论文, 主要内容为随着互联网技术发展到了今天,在线交易场景已经成为了人们日常生活中不可或缺的一部分。然而,互联网技术在给我们提供便利的同时,也使诈骗分子有了可乘之机,欺诈交易的发生让不少公司损失惨重。因此,欺诈检测作为风控系统中的关键一环,具有极大的研究意义和价值。早期的欺诈检测使用黑白名单和规则引擎来实现,此类被动防控手段无法应对层出不穷的欺诈新模式。随着机器学习技术的发展,研究人员开始尝试将有监督学习应用于欺诈检测,这也是目前市面上比较成熟的解决方案。不过,这种方法有两个明显弊端:一是容易面临类别不平衡问题,二是时间成本较高。相比于正常的交易,欺诈交易往往是极少发生的,所以欺诈检测可以看作是一种类别不平衡问题,对于这类问题可以使用无监督异常检测的手段来解决。因此,本文重点研究了 COPOD和LODA这两种无监督异常检测算法,和一种称为SUOD的算法加速框架,并使用SUOD框架构建了 COPOD-LODA融合模型。通过在信用卡数据集上的实验结果表明,基于SUOD的COPOD-LODA融合模型效果优于单一的模型。为实现可以满足在线交易场景实时性要求的欺诈检测系统,本文首先对系统进行了功能性和非功能性需求分析,其次分别从逻辑架构、物理架构、运行架构、数据架构、开发架构五个角度对系统进行架构设计,最后使用领域驱动设计思想对系统进行领域建模。本文最终实现了以COPOD、LODA、COPOD-LODA三种异常检测算法为核心功能的欺诈检测系统,同时具备规则引擎、黑名单管理、权限控制、系统监控等功能。为了模拟在线交易的真实场景,本文实现了电商“秒杀”系统,并使用该系统产生的订单数据作为欺诈检测系统检测的目标数据集。通过系统的功能测试和性能测试的结果表明,本文构建的面向在线交易的欺诈检测系统具备可行性,同时,本系统具备快速响应的优点。

基于影像特征的艺术品识别检索系统设计与开发

这是一篇关于图像识别,图像检索,深度学习,类别不平衡,图像特征,艺术品的论文, 主要内容为艺术品积淀了厚重的文化脉络,承载着人类文明的精华。数千年的人文历史留下了宝贵的艺术品资源,艺术文物的归类整理和检索是领域内的重要课题。面对纷繁复杂的艺术品资源,人们往往无所适从,不仅普通人员难以了解其信息细节,即便专业人员也往往难以快速厘清其人文脉络,引入影像分析技术,基于艺术品的影像特征对其进行识别整理并实现快速检索是领域内的重要趋势。近年来,人工智能(Artifical Intelligence,AI)技术发展迅速,基于智能技术的图像识别、图像检索是当前的研究热点。基于上述需求,论文尝试将AI技术引入到艺术品的归类整理和检索领域,并研究开发了一套基于影像特征的艺术品识别检索系统,研究内容与成果主要包括:(1)方案设计。探索性地分析了用于艺术品识别检索的解决方案,对系统功能与架构做了详细探讨,对系统数据库进行了分析比较,完成了系统方案设计、数据需求分析与概念设计。(2)数据采集。设计了一套爬虫程序,从多个平台抓取艺术品相关图文数据,完成了一个近10万张图像的多类别艺术品影像数据集,并对有标签影像数据集的类别不平衡状态进行了分析。(3)系统建模。研究了基于影像特征的艺术品识别分类方法和检索方法,在多个数据集上进行实验比较了视觉词描述图像内容、卷积神经网络描述图像内容的性能,进一步对性能较好的不同卷积模型进行了对比,还分析了过采样方法在类别不平衡情形中对卷积网络的作用,最后以实验评价指标AP值、AUC值、TopK准确率和mAP值为依据确立VGG-16作为描述艺术品图像内容的最终模型。(4)算法设计。探索了图像识别检索的算法优化方法,创新性地提出了两个优化算法,一个是应用卷积特征类别中心点优化不平衡情形中的识别分类,另一个是增强查询图像的语义属性来优化图像检索效果。本文分别设计了实验进行算法性能分析,Cifar-10、Cifar-100和艺术品影像数据集上的具体实验结果表明这两个算法具有良好的优化能力,前一个算法对不平衡情形的图像内容分类指标AP值有明显提升,后一个算法对图像检索评价指标TopK准确率和mAP有显著提升。(5)软件开发。开发了一套艺术品影像识别检索的软件系统,将论文研究的方法和创新算法用于软件平台实践之中,完成了系统软件的服务端和web客户端的设计开发以及相应的测试。论文引入影像特征分析技术,并将其应用于艺术品的归类整理和识别检索。该系统具备以图搜图、图像内容识别、艺术品图文批量导入及在售艺术品图文上传等功能,对艺术品的信息获取具有重要价值和意义。

基于多层级联结构的输电线路销钉缺陷检测研究与应用

这是一篇关于小目标检测,销钉缺陷,输电线路巡检,类别不平衡的论文, 主要内容为随着十四五规划的展开,稳定的电力供应成为保障经济社会正常运转的关键一环。销钉是输电线路中用于固定螺母的器件,销钉的脱落会导致输电线路的不稳定,极易引起跳闸事故。近几年,基于深度神经网络的目标检测技术获得了飞速发展,尤其在电力运维中与无人机巡检进行结合,提高了巡检人员的巡检效率和人身安全性。因此一种基于深度神经网络的销钉缺陷检测方法对巡检人员完成销钉缺陷的巡检工作,对维护输电安全具有重要的研究意义和应用价值。销钉缺陷检测主要存在三个挑战,最大的挑战在于销钉是绝对意义上的小物体;其次,复杂的自然环境背景和邻近的大量相似机械部件加剧了检测难度;第三,在数据层面上存在正常状态销钉和缺失状态销钉的类别不平衡问题。当前的销钉缺陷检测研究分为基于传统图像处理技术的检测方法和基于深度神经网络的目标检测模型的方法,但检测销钉缺陷的性能依然不能满足工业界的实际需求。本文介绍一种基于多层级联结构的销钉缺陷检测方法,其在性能表现上优于直接使用单个深度神经网络的目标检测模型进行销钉缺陷检测的方法。本文的检测方法分为四个模块,分别为图像预处理模块、冗余滑动窗口分割模块、销钉图像定位模块和销钉状态分类模块。通过多层级联的方式,不仅逐步提高销钉图像在待检测图像中的区域占比,放大销钉图像的特征,还能够过滤掉无关的复杂背景。为训练和测试本文提出的销钉缺陷检测方法,本文构建了三个基于真实输电线路场景下的销钉样本数据集,在构建过程中采用数据增强的方式对销钉样本数据集中的类别不平衡的问题进行了改进。本文提出的基于多层级联结构的销钉缺陷检测方法和其中的重要模块在数据集上进行了大量实验,实验结果表明,本方法在检测缺失销钉上具有很高的准确率,并且针对改进部分的消融实验验证了其有效性。此外,本文面向巡检人员设计和实现了一个销钉缺陷检测系统。系统使用Python语言进行开发,采用B/S架构,前后端分离的开发方式。前端选用Vue等技术实现上传巡检图、调用部署的销钉缺陷检测方法以及查看对销钉的检测结果等界面。后端选用Flask作为Web框架,使用关系型数据库MySQL保存巡检图和检测结果,使用gRPC的方式调用通过Paddle Serving部署的销钉缺陷检测模型。

基于深度学习的唐卡图像目标检测技术研究

这是一篇关于唐卡数据集,目标检测,SSD模型,特征融合,类别不平衡,RetinaNet模型的论文, 主要内容为唐卡是藏族文化中一个特殊的艺术类型,有着强烈的地方民族特色和浓厚的宗教色彩,堪称我国少数民族的艺术瑰宝。作为典型的非物质文化遗产,唐卡的数字化保护有着重要的史料、宗教及经济价值。但由于特殊的宗教性和地域性,大众缺乏认知,唐卡保护面临诸多挑战。目标检测作为唐卡数字化不可或缺的步骤,对于唐卡的保护具有重要意义。本文主要研究内容如下:(1)构建了唐卡图像目标检测数据集。目前现有的唐卡数据集较少,因此首先通过了解学习唐卡相关的语义知识,收集唐卡并进行预处理,最后进行标注的过程,建立了一个唐卡图像目标检测数据集,取名为宗教圣像唐卡1(Religious Portrait Thangka version 1,RPTK1),所有标签由人工标注完成,标签更符合佛教专业用语,包含了3338张唐卡图像,共57个种类,包含3类头饰,18类法器,36类主尊。(2)针对SSD模型小目标检测效果差的问题提出改进的SSD方法,即基于改进的特征融合和损失函数的SSD(Single Shot Multi Box Detector with improved feature fusion and loss function,FALSSD)方法。通过在骨干网络Res Net50部分增加特征融合,并提出一个新的损失函数实现唐卡目标检测。实验结果显示本文方法在PRTK1数据集上,目标检测精度达到了83.85%m AP,与其他先进的模型进行比较,本文模型性能表现较好。(3)针对类别不平衡问题将Retina Net模型进行优化。Retina Net模型特征提取不充分,分类不够准确,导致模型检测精度不高。因此,针对类别不平衡,从数据集和目标检测两方面优化,在RPTK1数据集上进行实验,本文方法达到88.87%m AP,与其他先进方法相比,本文方法的检测效果更好。(4)设计开发唐卡图像目标检测系统,并将上述改进的SSD模型和Retina Net模型嵌入其中。

基于影像特征的艺术品识别检索系统设计与开发

这是一篇关于图像识别,图像检索,深度学习,类别不平衡,图像特征,艺术品的论文, 主要内容为艺术品积淀了厚重的文化脉络,承载着人类文明的精华。数千年的人文历史留下了宝贵的艺术品资源,艺术文物的归类整理和检索是领域内的重要课题。面对纷繁复杂的艺术品资源,人们往往无所适从,不仅普通人员难以了解其信息细节,即便专业人员也往往难以快速厘清其人文脉络,引入影像分析技术,基于艺术品的影像特征对其进行识别整理并实现快速检索是领域内的重要趋势。近年来,人工智能(Artifical Intelligence,AI)技术发展迅速,基于智能技术的图像识别、图像检索是当前的研究热点。基于上述需求,论文尝试将AI技术引入到艺术品的归类整理和检索领域,并研究开发了一套基于影像特征的艺术品识别检索系统,研究内容与成果主要包括:(1)方案设计。探索性地分析了用于艺术品识别检索的解决方案,对系统功能与架构做了详细探讨,对系统数据库进行了分析比较,完成了系统方案设计、数据需求分析与概念设计。(2)数据采集。设计了一套爬虫程序,从多个平台抓取艺术品相关图文数据,完成了一个近10万张图像的多类别艺术品影像数据集,并对有标签影像数据集的类别不平衡状态进行了分析。(3)系统建模。研究了基于影像特征的艺术品识别分类方法和检索方法,在多个数据集上进行实验比较了视觉词描述图像内容、卷积神经网络描述图像内容的性能,进一步对性能较好的不同卷积模型进行了对比,还分析了过采样方法在类别不平衡情形中对卷积网络的作用,最后以实验评价指标AP值、AUC值、TopK准确率和mAP值为依据确立VGG-16作为描述艺术品图像内容的最终模型。(4)算法设计。探索了图像识别检索的算法优化方法,创新性地提出了两个优化算法,一个是应用卷积特征类别中心点优化不平衡情形中的识别分类,另一个是增强查询图像的语义属性来优化图像检索效果。本文分别设计了实验进行算法性能分析,Cifar-10、Cifar-100和艺术品影像数据集上的具体实验结果表明这两个算法具有良好的优化能力,前一个算法对不平衡情形的图像内容分类指标AP值有明显提升,后一个算法对图像检索评价指标TopK准确率和mAP有显著提升。(5)软件开发。开发了一套艺术品影像识别检索的软件系统,将论文研究的方法和创新算法用于软件平台实践之中,完成了系统软件的服务端和web客户端的设计开发以及相应的测试。论文引入影像特征分析技术,并将其应用于艺术品的归类整理和识别检索。该系统具备以图搜图、图像内容识别、艺术品图文批量导入及在售艺术品图文上传等功能,对艺术品的信息获取具有重要价值和意义。