基于深度学习的公路路面病害识别与分析算法研究

这是一篇关于沥青路面,卷积神经网络,生成式对抗网络,图像分类,图像分割的论文, 主要内容为公路养护工作是我国的一项重点任务。及时、有效地检测路面破损情况并进行路面补救,对保证道路交通安全至关重要。人工走查方法耗时耗力并存在潜在危险;数字图像处理的方法也因人为提取特征且检测准确性低等问题而受到限制。因此,设计出实时、迅速、识别精度高的路面检测算法迫在眉睫。深度学习算法可自动对所输入图像特征进行较准确的识别和判断,已在众多领域得到证实和广泛应用。鉴于此,本文以沥青路面破损图像为研究对象,基于深度卷积神经网络算法,期望实现对路面破损图像的快速、准确检测识别。主要结论如下:(1)针对小样本图像问题,采用基于Visual Geometry Group(VGG)模型的优化识别网络模型,提出一种S-VGG网络模型作路面破损类别的分类识别方法。以精确率、召回率、F1值为模型评估指标,并将结果与支持向量机算法(SVM)作对比。结果表明:S-VGG的分类准确率较高,收敛较稳定,可以适应小样本数据的分类识别。相比SVM,在同等试验环境、数据前提下,本文模型的分类准确率、F1值分别提高了25.6%,23.4%,具有更好的分类效果。(2)针对现实情况试验样本少的问题,提出了一种基于生成式对抗网络的扩充样本的方法。即,以原始收集图像为基础,采用传统数据增强方法获得扩充样本(traditional-set),在两者基础上筛选出新的数据集,引入生成式对抗网络生成试验样本,样本集合命名为GAN-set。结果表明:该方法能满足深度学习海量数据样本需求,可用于后续图像分类算法及分割算法研究。(3)针对VGG-16模型在试验过程中存在参数冗余,占用内存大等问题,提出一种基于改进型VGG的路面裂缝分类识别算法,并在不同数据集(GAN-set和traditional-set)上将该改进算法与不同算法(VGG-16与主流深度网络模型)作对比研究。结果表明:改进后模型的分类准确率达到96.30%,相比于原始的90.40%,提升5.9%;GAN-set在模型分类准确率、精确率、F值上均优于traditional-set;改进型VGG+GAN-set组合的分类识别效果提升明显。(4)针对原始算法在复杂背景下存在误检或漏检问题,提出了一种基于改进型U-Net的路面裂缝分割算法,并将该算法与传统图像分割算法及U-Net、FCN算法作对比研究。结果表明:相比传统分割算法,本文算法降低了因障碍物、遮挡物等因素造成的分割效果差的几率,相比主流分割算法,在评估指标上的得分均较突出,平均像素精度及平均交并比分别达到92.43%、83.43%。

基于深度学习的可穿戴设备数据隐私保护系统的设计与实现

这是一篇关于可穿戴设备,隐私保护,生成式对抗网络,自编码器的论文, 主要内容为由于可穿戴设备上传感器的日益多样化和无线网络的普及,可穿戴设备可以用来采集用户及其周边的多种信息,与传统的无线传感器网络相比,基于可穿戴设备的感知应用在移动便捷、可扩展性、成本等方面更胜一筹。在基于可穿戴设备的感知应用中,用户会被要求上传其相关数据,这就带来了隐私泄露的问题。现有的隐私保护技术(如数据扰乱和数据转换)等通常会改变所有原始数据,这样会使降低数据所包含的信息量,对后续的数据分析工作造成影响。一个相对较好的选择是只处理与敏感信息相关的部分数据,在一定程度上减轻对用户数据价值所带来的不良影响。这种方法的主要问题是如何判断数据是敏感数据还是非敏感数据,为此本文将其抽象成一个One-Class分类问题,并且基于深度学习的方法提出了一个新的判别模型。该模型采用一个自编码器来学习非敏感数据的特征,并且使用多个判别器和自编码器进行对抗训练以提升其性能。为了提高模型的判别准确率,本文使用集成学习的方法将多个判别器的输出组合在一起并通过多数投票的方法来计算模型的最终结果。本文提出的方法有以下优点:首先该模型的训练不需要使用隐私数据,因此在实际应用中易于实现;其次该模型不会改变非隐私的传感器数据,因此适用于大多数感知应用;最后该模型具有很强的特征学习能力以及较高的准确率。本文在三个公开数据集和一个自建的隐私保护领域数据集上进行了充分的对比实验,证明了该模型在Accuracy和F1-score方面超过了四种同类代表性方法。为了验证本文所提方法的可行性,本文最后还设计并实现了一个隐私动作识别处理系统,用于收集用户的传感器数据并且对其进行去隐私化处理,以用于后续的数据挖掘工作。该系统的后台服务器以微服务的架构实现,分为通用模块、消息系统和算法部署三个部分,并且配有智能手表和手机端APP供用户使用。最后,本文通过系统测试验证了所提方法的可行性。

电厂入炉煤煤质溯源及燃烧优化建模研究

这是一篇关于燃煤锅炉,煤质溯源,燃烧优化,NOx,飞灰含碳量,生成式对抗网络的论文, 主要内容为截至2022年底,我国火电装机容量占比约为52.03%。鉴于我国富煤、缺气、少油的能源结构,燃煤发电在未来很长一段时间内仍然是电力安全可靠供应的基石。随着“双碳”目标的确立,燃煤机组的节能减排显得尤为关键。目前国内一些大型的化工、钢铁等集团都具备一些中小容量的自备电厂,在减污降碳方面存在较大的优化空间,因此对这些中小容量电厂锅炉展开燃烧优化研究,挖掘燃烧优化潜力有着重要意义。本文针对国内某石化公司的自备电厂,对入炉煤煤质进行溯源,搭建复合神经网络对飞灰含碳量与NOx进行预测,并将预测模型与改进的多目标粒子群优化算法相耦合,对飞灰含碳量与NOx进行协同优化,开发出智能燃烧优化模块并嵌入电厂SIS系统中进行应用。首先,基于溯源思想设计了入炉煤煤质测算方法,对入炉煤进行链路追踪,溯源出其对应的入厂煤煤质化验信息,实现了入厂煤煤质数据到入炉煤煤质数据的实时计算,相较于传统的采样化验,提高了入炉煤煤质特性获取的实时性。结果表明,入炉煤煤质整体计算值与化验值拟合程度较好,其中收到基低位发热量拟合程度相对较高,平均绝对百分比误差为7.06%,满足后续燃烧优化建模中作为辅助输入参数的精度要求。其次,提出了一种基于GAN网络的飞灰含碳量与NOx的预测模型。利用卷积网络结构挖掘输入与输出间的潜在关系,增加跳跃连接机制使深层次的网络结构能够使用早期网络层的特征,保证了特征的可重用性,提高了泛化能力,并在此基础上引入入炉煤煤质作为辅助参数建立门控循环单元-生成对抗网络复合预测模型。结果表明生成对抗网络模型相较于经典的机器学习模型在变工况时具有较好的动态跟随性,复合模型泛化性相对较优,飞灰含碳量与NOx在测试集上的计算准确率分别为89.76%与85.19%。然后,基于改进的多目标粒子群优化算法,与预测模型相耦合,实现了飞灰含碳量与NOx的协同优化。选取了6种不同的锅炉负荷工况进行燃烧优化研究,结果表明6种工况均可以得到有效优化。优化后飞灰含碳量最高可降低3.39%,NOx最高可降低5.14%。最后,基于B/S的技术架构开发了智能燃烧优化模块,前端框架采用Vue,后端框架采用Flask。数据库采用My SQL,并根据电厂数据源分散的实际情况,分别基于Kettle与Qt设计搭建了数据同步方案。最终将预测模型与优化算法耦合的智能燃烧优化模块嵌入电厂SIS系统中,为电厂锅炉的实际运行提供指导。

基于深度学习的命名实体识别与实体关系抽取研究

这是一篇关于命名实体识别,实体关系抽取,深度学习,生成式对抗网络,卷积神经网络,注意力机制的论文, 主要内容为随着互联网的快速发展以及网络信息的爆发式增长,信息抽取技术变得越来越重要,它促进了多种学科的发展并在多个领域的实际应用中发挥着重要的作用。命名实体识别和实体关系抽取是信息抽取技术中最基础、最重要的部分,因为它们是自然语言处理领域许多复杂任务(如知识图谱构建、机器翻译、问答系统等)的基础。本文主要研究信息抽取技术中的命名实体识别任务和实体关系抽取任务。目前,在众多的命名实体识别方法中,双向LSTM结合CRF的方法取得了较好的效果,但仍然存在可改进的空间。本文结合条件生成式对抗网络和改进的Wasserstein生成式对抗网络提出一种适合于命名实体识别任务的条件Wasserstein生成式对抗网络模型(CWGAN),该模型借鉴条件生成式对抗网络以文本描述为条件的图像概率分布的思想,来完成命名实体识别以句子序列为条件获得标注序列概率分布的任务。该模型的生成器和判别器都采用双向LSTM结构,不同的是生成器生成命名实体标签的概率分布,判别器则为生成器的生成质量打分并反馈给生成器,生成器根据反馈更新梯度从而提升生成标签概率的质量。另外,CWGAN采用梯度惩罚的方法来保证梯度在后向传播的过程中保持平稳。实验证明,本文提出的CWGAN模型在命名实体识别任务中是有效的,在对抗学习的过程中判别器可以指导生成器进一步提高自己的性能。另外,在众多的实体关系抽取方法中,远程监督结合神经网络模型的方法在性能上是比较令人满意的,但远程监督获取的标注语料中往往存在大量的噪声数据,给关系抽取模型的训练带来了很大的影响。本文提出一种基于改进注意力机制的卷积神经网络关系抽取模型。该模型针对包含同一实体对的句子集合,从中尽可能的找出所有体现该实体对关系的正实例,构建组合句子向量,抛弃可能的噪声句子,从而最大程度地降低噪声句子的影响又能充分利用正实例的语义信息。实验证明,本文提出的关系抽取模型在准确率和召回率两方面均优于先前的神经网络关系抽取模型。

基于生成对抗网络的少特征对抗攻击算法研究与应用

这是一篇关于机器学习,生成式对抗网络,深度学习,对抗样本的论文, 主要内容为近年来,机器学习算法已经广泛的应用到我们的日常生活中。常规机器学习算法在工业界的推荐、广告系统有着广泛应用,为商业界带来了巨大的利益。深度学习算法已经被广泛的应用到图像,语音以及推荐系统等多个技术领域,而且取得了令人振奋的成果,在诸多领域都已经达到甚至超越了人类水平。以强化学习算法为核心的Alpha Go、Alpha Zero在围棋领域战胜了多名职业选手。在其技术不断提升的过程中,“对抗样本”这一概念被提出。对抗样本是指攻击者在原始的样本中加上一些微小的扰动,使得机器学习模型或是深度学习模型以一个很高的置信区间去输出一个错误的类别,大大的降低了识别的准确率,攻击者以此达到攻击的目的。机器学习算法的这种“易脆性”非常值得广大学者深入研究。在自动驾驶汽车、人脸面部识别、垃圾邮件系统、安全监视系统等对安全性有严格要求的应用中,对抗样本的攻击严重阻碍了人工智能系统的部署。对抗样本对人工智能的安全性构成了极大威胁。这可能导致由人工智能系统发生紊乱,导致错误判断或是漏判,系统崩溃甚至被敌方所用。当然,对抗性样本也可以激发更多关于如何防御对抗样本攻击的研究,从而获得更可靠、更鲁棒的机器学习算法。本文将重点研究对抗样本生成算法,即攻击人工智能系统的算法,具体的工作内容如下:(1)本文提出一种新的基于生成式对抗网络的对抗样本生成方法,称之为少特征攻击算法。该算法可以在保证很高攻击成功率的前提下,尽可能的少的改变特征数量以及扰动大小,使得生成的对抗样本与原始样本的距离尽可能的小。(2)本文在生成式网络一侧提出了一种并行网络结构,分别为生成扰动的扰动网络和控制改变特征数量的mask网络。(3)为保证算法的高效性,本文定义了三个损失函数。其中,扰动函数用来控制扰动的大小,分类损失函数用于生成对抗样本,mask损失函数用于控制改变特征的数量。(4)本文在信息安全领域和图像领域总共四个数据集进行了验证,并与目前最先进攻击算法进行对比,实验结果证明了本文提出算法的高效性。

可过滤虚假评论的在线推荐系统设计与实现

这是一篇关于聚类推荐算法,生成式对抗网络,虚假信息过滤,谱聚类算法,聚类个数的论文, 主要内容为随着网络技术飞速发展,信息交换日益频繁带来了信息选取的困难,推荐系统应运而生。推荐系统依据用户的需求和兴趣等,将用户感兴趣的产品进行推送。具有个性化的推荐系统现已广泛应用于很多领域,尤其是电子商务领域。但是在实际应用中,推荐系统容易受到虚假评论的攻击,使得推荐系统的推荐效果和可信度急剧下降。因此,对于推荐系统来说,实现有效的虚假评论过滤和精准推荐至关重要。目前已有大量针对虚假评论和推荐系统的研究工作,但是在面对虚假评论攻击的时候如何实现精准推荐仍然存在挑战,存在的主要问题包括:1)虚假评论的识别与过滤依赖大量带标注的真假评论数据集作为基础,已有的虚假评论数据大多数依靠人力标注且数据较少,如何自动获取大量带类标的真假评论数据集是实现有效过滤虚假评论、精准推荐的基础;2)精心设计的虚假评论导致推荐系统性能急剧下降,已有的方法利用文本的统计信息作为特征输入虚假评论的文本检测器无法实现对虚假评论的有效检测,因此如何有效的过滤真实数据中的虚假评论至关重要;3)已有的推荐算法在处理稀疏推荐数据的时候存在推荐效果差的问题,数据稀疏性会直接影响推荐系统的推荐效果。针对以上问题,本文提出了虚假评论攻防策略,设计并实现了可过滤虚假评论的在线聚类推荐系统。针对虚假评论自动生成问题,提出了基于条件文本生成式对抗网络生成虚假评论数据,设计数据循环利用来优化置信度的双循环图虚假评论检测算法。针对推荐数据较稀疏的特点,设计一种基于新型网络表征技术和丰富信息网络的新型在线聚类推荐系统。具体研究内容包括以下几个部分:(1)为实现自动生成带类标的虚假评论数据集,本文提出了基于条件文本生成式对抗网络的文本生成算法生成虚假评论数据。条件文本生成式对抗网络算法能够生成带有特定情感标签的可变长文本,并采用自动化的单词级替换策略保证生成文本的质量和多样性。实验验证了自动生成虚假文本的有效性,对于仅依据文本信息进行虚假评论检测的检测器无法实现其有效监测。(2)针对存在虚假评论的推荐数据,本文提出了基于双循环图的虚假评论检测算法。为了获得更为可靠的用户置信度和商店置信度的初始值,提出数据循环利用的方法获得第一次循环结束时的用户置信度和商店置信度,对用户和商店置信度初始值进行优化以构建合理的图过滤器;设计一种参考用户对商店的个人影响力的加权图过滤器;通过对加权图过滤器的置信度初始值优化,进行图循环过滤模型的二次迭代。(3)针对推荐算法中数据稀疏导致的推荐效果差的问题,提出了基于node2vec技术和丰富信息网络的聚类推荐系统。利用网络表征学习方法和单边投影法相结合将向量的形式表示用户-商店网络,有效的将用户-商店网络中潜在的特征依据向量的形式表现出来;针对数据稀疏性和聚类算法的聚类效果差等问题,提出了基于动态紧邻点的谱聚类算法,能够自动确定聚类个数和较高的聚类效果。利用分阶段个性推荐实现每个用户的个性化推荐。

基于深度学习的可穿戴设备数据隐私保护系统的设计与实现

这是一篇关于可穿戴设备,隐私保护,生成式对抗网络,自编码器的论文, 主要内容为由于可穿戴设备上传感器的日益多样化和无线网络的普及,可穿戴设备可以用来采集用户及其周边的多种信息,与传统的无线传感器网络相比,基于可穿戴设备的感知应用在移动便捷、可扩展性、成本等方面更胜一筹。在基于可穿戴设备的感知应用中,用户会被要求上传其相关数据,这就带来了隐私泄露的问题。现有的隐私保护技术(如数据扰乱和数据转换)等通常会改变所有原始数据,这样会使降低数据所包含的信息量,对后续的数据分析工作造成影响。一个相对较好的选择是只处理与敏感信息相关的部分数据,在一定程度上减轻对用户数据价值所带来的不良影响。这种方法的主要问题是如何判断数据是敏感数据还是非敏感数据,为此本文将其抽象成一个One-Class分类问题,并且基于深度学习的方法提出了一个新的判别模型。该模型采用一个自编码器来学习非敏感数据的特征,并且使用多个判别器和自编码器进行对抗训练以提升其性能。为了提高模型的判别准确率,本文使用集成学习的方法将多个判别器的输出组合在一起并通过多数投票的方法来计算模型的最终结果。本文提出的方法有以下优点:首先该模型的训练不需要使用隐私数据,因此在实际应用中易于实现;其次该模型不会改变非隐私的传感器数据,因此适用于大多数感知应用;最后该模型具有很强的特征学习能力以及较高的准确率。本文在三个公开数据集和一个自建的隐私保护领域数据集上进行了充分的对比实验,证明了该模型在Accuracy和F1-score方面超过了四种同类代表性方法。为了验证本文所提方法的可行性,本文最后还设计并实现了一个隐私动作识别处理系统,用于收集用户的传感器数据并且对其进行去隐私化处理,以用于后续的数据挖掘工作。该系统的后台服务器以微服务的架构实现,分为通用模块、消息系统和算法部署三个部分,并且配有智能手表和手机端APP供用户使用。最后,本文通过系统测试验证了所提方法的可行性。

基于生成式对抗网络的图像特征表示及应用

这是一篇关于特征表示,散列特征,生成式对抗网络,图像检索的论文, 主要内容为基于内容的图像分类、检索、描述等应用依赖于图像的语义特征表示。本文通过堆积生成式对抗网络(SGANs,Stacked Generative Adversarial Networks)模型解决图像特征提取和散列表示问题以提高图像检索应用的检索准确率和时间效率:提取图像的层次结构语义特征,提高图像检索应用的准确率;通过离散化得到图像的语义散列表示,从而提高图像检索应用的时间效率。另外,在无监督SGANs的基础上引入部分标注语义信息,引导相似图像的散列语义特征具有更好的聚集特性,进一步提高检索准确率。具体工作总结如下:(1)无监督层次结构的语义特征表示学习:采用SGANs将图像的特征表示学习分解为逐层堆积的生成对抗模型,逐步提取图像由低层次的轮廓特征到高层次的抽象语义特征,并通过散列技术形成低维的层次结构的散列特征向量,增加同类图像的聚集机会,从而提高准确性。(2)半监督深度语义散列特征表示学习:图像的标注信息不仅提供了图像的类别信息也蕴含了图像之间的相似性。在无监督SGANs的基础上引入部分标注语义信息,利用图像之间的相对相似性,设计面向图像检索的深度散列优化目标,引导相似图像的散列语义特征具有更好的聚集特性,进一步提升了检索的准确率。(3)实验验证与检索应用系统原型实现:在标准数据集和大规模电商商品图片集上验证模型的有效性和检索准确率。实验表明通过生成式对抗网络的堆积模型获得图像的散列特征表示具有良好的聚集特性,半监督的SGANs深度散列方法比无监督的SGANs方法检索效果提升明显,比基于手工特征的散列方法和有监督的深度学习散列方法检索效果也有明显提升。在检索应用中部署堆积模型,实现检索应用的系统原型。

电厂入炉煤煤质溯源及燃烧优化建模研究

这是一篇关于燃煤锅炉,煤质溯源,燃烧优化,NOx,飞灰含碳量,生成式对抗网络的论文, 主要内容为截至2022年底,我国火电装机容量占比约为52.03%。鉴于我国富煤、缺气、少油的能源结构,燃煤发电在未来很长一段时间内仍然是电力安全可靠供应的基石。随着“双碳”目标的确立,燃煤机组的节能减排显得尤为关键。目前国内一些大型的化工、钢铁等集团都具备一些中小容量的自备电厂,在减污降碳方面存在较大的优化空间,因此对这些中小容量电厂锅炉展开燃烧优化研究,挖掘燃烧优化潜力有着重要意义。本文针对国内某石化公司的自备电厂,对入炉煤煤质进行溯源,搭建复合神经网络对飞灰含碳量与NOx进行预测,并将预测模型与改进的多目标粒子群优化算法相耦合,对飞灰含碳量与NOx进行协同优化,开发出智能燃烧优化模块并嵌入电厂SIS系统中进行应用。首先,基于溯源思想设计了入炉煤煤质测算方法,对入炉煤进行链路追踪,溯源出其对应的入厂煤煤质化验信息,实现了入厂煤煤质数据到入炉煤煤质数据的实时计算,相较于传统的采样化验,提高了入炉煤煤质特性获取的实时性。结果表明,入炉煤煤质整体计算值与化验值拟合程度较好,其中收到基低位发热量拟合程度相对较高,平均绝对百分比误差为7.06%,满足后续燃烧优化建模中作为辅助输入参数的精度要求。其次,提出了一种基于GAN网络的飞灰含碳量与NOx的预测模型。利用卷积网络结构挖掘输入与输出间的潜在关系,增加跳跃连接机制使深层次的网络结构能够使用早期网络层的特征,保证了特征的可重用性,提高了泛化能力,并在此基础上引入入炉煤煤质作为辅助参数建立门控循环单元-生成对抗网络复合预测模型。结果表明生成对抗网络模型相较于经典的机器学习模型在变工况时具有较好的动态跟随性,复合模型泛化性相对较优,飞灰含碳量与NOx在测试集上的计算准确率分别为89.76%与85.19%。然后,基于改进的多目标粒子群优化算法,与预测模型相耦合,实现了飞灰含碳量与NOx的协同优化。选取了6种不同的锅炉负荷工况进行燃烧优化研究,结果表明6种工况均可以得到有效优化。优化后飞灰含碳量最高可降低3.39%,NOx最高可降低5.14%。最后,基于B/S的技术架构开发了智能燃烧优化模块,前端框架采用Vue,后端框架采用Flask。数据库采用My SQL,并根据电厂数据源分散的实际情况,分别基于Kettle与Qt设计搭建了数据同步方案。最终将预测模型与优化算法耦合的智能燃烧优化模块嵌入电厂SIS系统中,为电厂锅炉的实际运行提供指导。