基于无监督学习的机器异常声音检测系统的设计与实现

这是一篇关于异常声音检测,无监督学习,自编码器,变分自编码器,卷积神经网络的论文, 主要内容为随着工业技术的发展进步,越来越多类型的机器用于生产制造和人们的日常生活中,机器与我们生活息息相关,因此对机器设备定期维护检测,提前检测出异常并修复,确保机器设备的正常运行成为了一项有必要的任务。机器运作时往往会有规律的声音,但在发生异常时声音就会产生变化,因此声音可以用来当作判别机器是否正常运作的一个标准。基于机器运作声音的特点,本文设计并实现了一个无监督机器异常声音检测系统,主要的研究和工作内容如下:(1)机器异常的发生是不可预知的,故意损坏机器只能获得有限的异常声音种类,并且代价很高,因此异常声音难以收集。针对这个问题本文提出使用基于无监督学习的网络模型对声音特征进行训练,训练过程只使用机器正常运转的声音,从而避免缺少异常声音的问题。MFCC特征提取中使用一个滤波器组从一个角度来模拟听觉特征,而调制频谱特征的提取方法中使用gammatone滤波器组和8通道的调制滤波器组分别模拟耳蜗结构和人的听觉系统中的滤波结构,从两个角度提取声学特征从而使声学特征更明显,神经网络的训练目标更加明确。通过实验对比确认使用调制频谱特征来表示声音的特征。(2)机器声音的类型多种多样,对多种声音特点归类并训练的网络模型不会比针对一种声音训练的模型表现优良,因此异常声音检测系统对每种类型的声音训练一个模型。也同样因为机器的声音类型很多,声音收集困难,提前训练一个语音模型不现实,对于不同类别的机器声音要训练不同的模型,并且随着音频数据的增多,模型要及时更新,系统的模型要进行扩展,基于上述需求设计一个基于B/S(浏览器/服务器)架构的异常声音检测系统,系统的主要功能是针对不同类的声音分别训练模型来检测声音是否异常。为了使系统应用更加便捷,设计了一个小程序在手机端使用,小程序可以录音并将语音文件保存到目录或者录音并及时检测。目前主流的神经网络框架使用Python编写,并且使用Python编写神经网络比Java更加便捷,因此使用Python编写网络模型并完成对声音数据的处理、训练和预测。使用Socket通信来实现Web端系统和Python语言编写的网络训练和语音预测模块之间的通信。这样的系统设计可以满足对工作车间内的机器、部署在公共场所中的机器以及企业或者私人定制机器等各种机器的维护检查,除此之外也可以提供给语音实验室,方便对模型的整理、训练和使用。综上所述,本文设计并完成了一个无监督异常声音检测系统,可以训练神经网络模型对机器运转的声音进行检测从而判断机器是否正常运作,满足定期对机器维护检查的需求,预防机器运转故障。本系统提供了用于网络模型训练和异常声音检测的接口,并完成了一个基础的异常声音检测系统,能够快速部署和应用。

基于深度学习的鱼类异常行为检测方法

这是一篇关于异常检测,鱼类行为,水质检测,无监督学习,注意力机制的论文, 主要内容为中国是渔业大国,也是最大的水产品出口国。鲜活水产品需求量的逐步提高,水产品养殖规模的不断扩大,对我国水产养殖的信息技术化提出了更高的要求。在鱼类养殖中,通过水温、氢离子氧化还原电位浓度、溶解氧浓度和化学成分等外界环境变化的刺激,鱼群会产生不同的应激行为,比如回避、无方向地游动和死亡等。因此,在水产养殖中及时地对鱼群异常行为做出相应的判断以检测不同的水质情况是非常重要的环节,具有很高的研究意义和实用价值。首先,传统的人工提取抽象特征方法一般是基于先验知识进行提取,利用这种特征提取方式来捕获视频异常存在特征学习不足、特征选择困难、泛化性差等问题,已经不再适用于大规模的水产养殖。其次,更多的研究学者们将计算机视觉技术与渔业研究结合起来用于鱼类的异常行为检测,但是异常行为的定义难以捉摸,即正常事件和异常事件之间的数据分布不均衡。最后,异常样本具有多样性,类型极其丰富,在不同场景下对同一行为的定义也不相同。因此,深度学习网络模型在鱼群异常行为检测中的应用给渔业发展带来了新的契机和挑战。如何利用深度学习网络模型自动化提取鱼群的运动相关性和外观特性,客观地反映鱼类运动状态,已成为实现鱼群异常检测方面亟待解决的问题。受监控视频中异常检测研究的启发,本文提出了两种无监督的深度学习模型的鱼类视频异常检测方法。首先针对连续视频中时间信息和空间信息利用不充分的问题,本文提出了一种基于时间位移和注意力机制的异常检测方法RTS-RCA,利用Wider Resnet为基础网络作为编码器对视频帧进行特征提取,并将提取的特征图分别输入时间网络和空间网络。在时间网络上利用残差时间位移来学习更加丰富的时间信息,其次在解码阶段利用残差通道注意力机制来校正通道特征,以生成更加真实的预测帧,实现异常行为检测。实验结果表明,该方法在视频异常检测基准数据集Ped1和Shanghai Tech上的帧级AUC分别为0.864和0.734,同时该方法在鱼群数据集上的帧级AUC分别达到了0.906和0.894,证明了该方法在检测鱼类异常行为上的有效性。其次,针对前一研究方法中异常检测精度较低且对于大型场景数据泛化性较差的问题,本文提出了一种结合多层记忆增强和残差时空transformer的异常检测方法MMA-RTST,以U-Net网络为基础,利用其编码器和解码器对视频帧实现编码和解码,并根据预测帧和真实帧之间的差异实现异常检测。为了加强连续视频帧之间的时空信息特征联系,本文提出残差时间transformer模块和残差空间transformer模块提升网络对时间信息和空间信息的建模能力。由于卷积神经网络具有一定的泛化能力,本文使用记忆增强模块代替U-Net网络中的跳跃连接,缓解编码器对异常帧的表达能力。此外,为了生成更加真实的预测帧,使用生成对抗网络(Generative Adversarial Networks,GAN)来处理异常,提升网络的检测精度。实验结果表明,该方法在视频异常检测基准数据集Ped1和Shanghai Tech上的帧级AUC分别为0.87和0.75,在斑马鱼和红鲫鱼两类鱼群数据集上的帧级AUC分别为0.916和0.921,与现有的其他方法相比,有效地提高了检测精度并且在Shanghai Tech数据集上有更明显的效果提升。本文的研究结果表明,本文所提出的深度学习模型可以有效地检测鱼类视频中的异常情况,相比于传统方法有更大的优势,更适用于大规模的水产养殖。同时,本文总结了所提出模型的优点和缺点,并展望了深度学习方法在鱼类视频异常检测中未来的发展。

基于优化算法驱动深度神经网络FISTA-Net的地震多次波自适应相减方法

这是一篇关于多次波自适应相减,FISTA-Net,优化算法驱动,无监督学习,迁移学习的论文, 主要内容为在石油地震勘探中,多次波压制是地震数据处理的难题之一,多次波自适应相减是预测相减法压制多次波的关键步骤。传统线性回归的多次波自适应相减方法采用快速迭代收缩阈值算法(Fast Iterative Shrinkage Thresholding Algorithm,FISTA)求解匹配滤波器,尽管其计算效率较高,但该算法需要人为反复试错选取超参数。超参数选取有误会造成匹配滤波器求解误差,进而会导致多次波残余或一次波损伤。已有数据驱动深度神经网络方法相比传统线性回归方法可以更好地压制多次波,但该方法缺乏可解释性,网络训练时依赖大量有标签数据。因此,为解决传统线性回归方法分离多次波精度低以及数据驱动深度神经网络方法可解释性差、依赖大量有标签数据训练的问题,本文提出了一种基于优化算法驱动深度神经网络的多次波自适应相减方法。本文的主要研究内容概括如下:(1)为解决数据驱动深度神经网络方法可解释性差且传统线性回归方法多次波分离精度较低的问题,提出了一种基于有监督FISTA-Net的多次波自适应相减方法。所提方法从传统线性回归的优化算法出发,以深度神经网络为手段,将传统线性回归方法中稀疏优化算法FISTA的迭代步骤展开成网络层,并采用经典数据驱动神经网络U-Net代替一次波稀疏促进操作,FISTA中的正则化参数在网络训练过程中进行自适应估计。因此,提出的FISTA-Net具有一定的可解释性,可解释为FISTA的迭代步骤。合成数据的处理结果表明,基于有监督的FISTA-Net方法比基于改进的U-Net的多次波压制方法以及传统线性回归方法取得了更好的多次波压制效果,同时得到了更高的信噪比。实际数据的处理结果表明,基于有监督的FISTA-Net方法比基于改进的U-Net的多次波压制方法可以更有效地压制多次波。(2)为解决有标签训练样本在实际数据中构建繁琐、有监督训练下的网络泛化能力低的问题,提出了一种基于无监督FISTA-Net的多次波自适应相减方法。由于地震一次波符合非高斯分布,因此无监督FISTA-Net方法对输出一次波施加L1范数最小化约束,利用无标签训练样本对网络进行无监督训练。合成数据和实际数据的处理结果表明,基于无监督的FISTA-Net方法比传统线性回归方法更好的压制多次波以及保护一次波。(3)为了提高实际数据处理的效率,提出了一种基于迁移学习的实际地震数据处理方法。由于合成数据和实际数据的多次波自适应相减属于相似任务,并且合成数据和实际数据在统计分布上具有一定的相似性。因此,可以在合成数据训练模型的基础上进行模型微调来实现实际数据的多次波自适应相减。实际数据处理结果表明,基于迁移学习的实际数据处理方法可以在保持多次波分离精度的同时,加快模型训练的收敛速度。

分子基团描述子构建及应用中的关键技术研究

这是一篇关于分子基团描述子,无监督学习,数据挖掘,机器学习,量子化学理论计算的论文, 主要内容为传统的化学实验往往伴随着大量的试错成本,机器学习和量子化学摩擦出的火花正试图改善这一状况。在人工智能火热发展的当下,充分理解并表示分子特征,对于抽象化学问题具有重大意义。本文以分子基团描述子为研究对象,使用无监督学习算法挖掘团簇信息,建立多种分子基团描述子并测试多场景应用效果。本文的主要研究工作如下:(1)针对分子基团描述子的基底构造,本文对无监督学习算法进行了深入研究,并提出了基于划分(K-means、Mini Batch K-means)、基于密度(DBSCAN、Mean Shift)、基于层次(BIRCH)聚类的三种基团基底构造方法。上述方法使用多种聚类算法探寻团簇结构数据中隐含知识,将得到的不同团簇作为分子基团展开基底,进而根据分子中各基团贡献给出分子特征描述。(2)针对分子基团描述子的应用效果,本文以化学反应方向预测为评价手段,评估了不同基底分子基团描述子对化学反应的表示能力,比较了传统分类算法(SVM、SGD)、集成学习算法(XGBoost、Random Forest)和神经网络等机器学习算法对描述子中化学信息的利用效率;同时以谱学预测为评价手段,探索了提升一维谱学数据拟合性能的可行性。(3)针对以上研究工作中得到的大量反应数据,本文尝试将知识图谱展示技术与化学知识相结合,以乙二醇下游复杂反应网络为实际案例,结合多种反应方向判据(热力学、前线轨道理论),设计并构建了乙二醇反应计算平台。平台完成了“分子-反应-属性”关系的直观映射及反应网络的关系图展示。以上研究成果丰富了传统分子基团描述子中基底构造方法,为该描述子在化学反应方向预测及谱学预测等场景中的实际应用积累了成功经验。在平衡算法复杂度与向量维度的基础上,实验结果表明,基于MeanShift聚类方法构建的分子基团描述子表示能力最优,能够将化学反应方向预测精度提高至97%以上,谱学预测误差降低7%。同时,本文结合数据挖掘及化学知识,成功构建出91770个具有反应方向标签的乙二醇相关化学反应。本文工作对基于无监督学习的分子基团描述子进行了全面探索,为实际应用提供了有力的理论支撑。

医学图像配准与融合关键技术研究

这是一篇关于3D-TPS,图像配准,图像融合,无监督学习,卷积神经网络,迁移学习的论文, 主要内容为医学图像的配准和融合一直以来都是非常具有挑战性的任务,并且在临床中对于肺部呼吸运动估计、近距离粒子治疗、剂量规划和阿兹海默症诊断等方面具有重要意义。本文以基于深度学习的医学图像配准与融合关键技术为研究对象,设计开发了基于无监督学习医学图像配准框架和基于迁移学习的医学图像融合框架。主要研究成果如下:首先,为缓解现有公开数据资源有限导致的模型过拟合问题,提出了一种基于三维薄板样条(3D-Thin Plate Spline,3D-TPS)变换的数据增强方法,通过在真实图像和虚拟图像中布置控制点,在拟合控制点集的同时最小化弯曲能量进而求解得到两幅图像之间的一一映射,从而将真实图像进行任意扭曲生成大量虚拟图像实现对训练数据的扩容,以满足神经网络的训练需求。其次,针对医学图像的配准,提出一种基于无监督学习的端到端的非刚性配准方法。改进现有U-Net卷积神经网络结构,在跳跃连接之间引入Inception模块,该卷积神经网络集成了U-Net特征融合与Inception模块的多尺度特征感知的优点,充分融合各尺度深层特征有利于生成高精度的位移向量场。同时为保证位移向量场平滑,在损失函数中引入雅克比正则化项,达到在网络训练中显式惩罚位移向量场的奇点的目的。在上述基础上,分别使用归一化互相关和互信息相似性度量项,通过惩罚图像间的差异可分别实现对单模态和多模态医学图像的非刚性配准。最后,提出一种基于迁移学习的多模态医学图像融合的新方法。将图像分解为代表大尺度强度变化的低频图像和包含小尺度变化的高频图像。利用引导滤波器生成的低频权重映射融合低频图像,并利用预训练模型提取的深度特征图指导生成高频权重映射融合高频图像。通过在RIRE(Retrospective Image Registration Evaluation Project)数据集上进行的测试实验,验证所提出的方法在医学图像融合任务中的有效性。综上,本文提出基于3D-TPS的提出了数据增强算法,解决了卷积神经网络的训练数据需求,提高了网络模型的泛化能力。基于深度学习理论设计了一套用于医学图像配准和融合的框架,实现了对医学图像高精度、高效率的配准与融合,具备强大的潜在临床应用价值。

基于深度学习的视频异常检测方法研究

这是一篇关于深度学习,无监督学习,视频异常检测,编码器-解码器架构,预测未来帧的论文, 主要内容为基于视频的异常行为检测是计算机视觉领域下极具挑战性的一个课题。其中最主要的原因是,对于视频中的异常行为而言,很难有一个具体而通用的定义。异常行为对场景的依赖性极高,同一行为在不同的场景中,可能会有不同的判定结果。由此可见,针对视频异常检测,其面临的最重大的问题是异常判别过于依赖场景的前后关系。为了解决这个问题,目前主流观点是采用以数据集为中心的无监督视频异常检测方法,将数据集中出现较少、未出现或与较常出现行为差异过大的行为视为异常行为。随着深度学习的发展,基于视频的异常行为检测方法也取得了重大发展。针对视频异常行为检测中异常行为的场景依赖性高、异常样本数量少等问题,本文采用无监督学习方法进行视频异常检测的网络框架构建,目标是使用训练集学习一个完全由正态样本描述的网络模型,在测试时,训练集中未包含的事件和活动被视为异常。主要研究工作如下:1、针对基于传统编码器-解码器架构的视频异常检测方法对物体外观空间特征提取不充分导致检测能力不足的问题,提出了基于空间感知与注意力融合的视频异常检测方法。该方法利用空间感知编码网络加强对视频帧中物体外观空间特征信息的提取,同时通过非局部模块建模深层空间编码的全局依赖关系。然后利用注意力融合模块建立空间编码与传统编码网络提取的时序编码之间的交互关系,增强网络对于输入样本的鉴别表示能力。实验分析表明,本文方法在公共基准数据集UCSD Ped1和Ped2的帧级AUC分别能够达到84.2%和95.7%,对视频中的异常行为具有良好的检测性能。2、针对传统U-Net网络架构存在的语义差异以及局部感受野限制,导致在采用预测未来帧策略的异常行为检测方法中检测效果不佳的问题,提出了一种基于全局语义增强和多尺度融合的视频异常检测方法。该方法利用构建的全局语义增强结构将深层编码的全局语义注入底层编码中,以弥补底层上下文语义的不足并抑制冗余噪声。同时,利用设计的多尺度融合模块建立解码特征的多尺度映射关系,增强网络对于局部前景区域的空间特征学习能力。实验分析表明,本文方法在公共基准数据集Avenue、UCSD Ped1和UCSD Ped2的帧级AUC分别能够达到85.1%、85.3%和95.9%,能够实现良好的视频异常检测效果。

基于Zero-Unet的无监督低光照图像增强方法研究

这是一篇关于低光照图像增强,无监督学习,Swin Transformer,U-Net,图像质量评价的论文, 主要内容为伴随着现代科技的高速发展,图像在生产生活、科学研究等领域的应用也越来越广泛。但由于低光环境影响和拍摄技术的限制,导致捕获的图像经常存在诸如亮度低、噪声干扰和细节缺乏等问题。这不仅影响视觉效果,还会造成许多领域,如工业生产、遥感监控等应用中图像信息难以获取以及后续的信息加工困难。因此,采用合适的低光照图像增强技术对低光照图像进行图像恢复,例如增强图像亮度、降低图像噪声、提高图像质量等,可以为后续工作提供有力的数据支持,具有重要价值。近年来,低光照图像增强技术虽然取得了很大的进展,但利用现有算法增强图像后仍存在对比度低、过度调节和噪声放大等问题。针对上述问题,本文围绕当前低光照图像增强方法存在的问题展开研究,给出了基于Zero-Unet的无监督低光照图像增强方法,主要内容如下:(1)针对低光照图像增强过程中容易出现的局部信息损失问题,设计了一种无监督的低光照图像迭代增强网络模型。基于Swin-Unet框架和特定于图像的曲线函数迭代增强技术,将Swin Transformer Block与U-Net网络框架相结合用于图像增强时的特征提取部分,对不同尺度的特征进行融合处理以获取丰富的全局和局部特征,从而解决了低光照图像增强过程中出现的局部信息损失问题,有效恢复图像的局部细节。实验结果表明,该网络结构在训练过程中不需要成对的训练数据,模型运行速度快、资源消耗少,在有效提高低光照图像亮度的同时,可以保留局部纹理信息。(2)针对低光照图像质量增强过程中,极端黑暗等复杂光照条件下的图像增强效果不佳问题,在特征提取网络Swin-Unet结构中的Swin Transformer Block引入半实例规范化模块,用以恢复图像的浅层特征,提升目标图像质量。实验结果表明,该方法解决了低光照图像增强过程中容易出现的纹理细节不丰富等问题,且通过对比实验,验证了在极端黑暗条件下的图像增强效果。(3)采用上述所给的低光照图像增强方法,基于低光照图像增强应用系统的功能需求与可行性分析研究,设计、开发了相应的低光照图像增强应用软件,通过向系统中嵌入基于本文研究内容的低光照图像增强算法,可以实现低光照图像的增强处理任务以及图像质量评价结果展示,满足了基于Zero-Unet的无监督低光照图像增强方法的实际应用需求。综上所述,基于Swin-Unet、Swin-HIN-Unet的零参考低光照图像增强网络为低光照图像增强问题提供了新的解决思路,而据此设计、开发的应用系统也为其实际应用提供了技术支持。

基于无监督学习和强化学习的多评论摘要算法的研究与实现

这是一篇关于多评论摘要,深度学习,无监督学习,强化学习,用户画像的论文, 主要内容为随着互联网移动设备的普及和人们消费水平的提高,用户在网络平台产生的评论、观点等文本信息不断增长。其中,电商平台内的评论不仅能够提供给用户购买参考,同时也为商家提供真实的改进建议。商品详情页的历史评价对用户决策具有重要的参考作用。此外,覆盖面广泛的用户反馈也能帮助用户确定商品是否符合自身特定的需求。然而,这些评论内容也带来了诸多冗余信息,使得读者需要花费大量时间浏览众多评论才能总结出真实情况。对于特别关注某些方面有个性化需求的用户,需要仔细筛选涉及与自己关注方面相似的评论,才能了解商品是否适用。因此,评论内容过多对读者造成了信息过载。而对这些评论文本进行摘要,将读者关心的共识信息用概括性的语言进行总结归纳是应对信息过载问题的重要方式。然而对多个评论进行人工摘要总结是一个十分困难的任务。各个评论之间的信息存在重复和冗余,并且不同评论之间的重要性也不同。阅读评论过程中,标注人员需要筛选每个评论中的信息,并根据其他评论的观点判断每条评论的重要性,避免带有偏见的评论文本用于摘要的参考。归纳总结过程中,标注人员需要识别重要共识观点,按照重要性进行排序,根据摘要规定长度进行取舍。撰写摘要文本过程中,标注人员需要整合共识观点,并用概括性的语言转述出来。这个摘要流程要求标注人员具备较高的信息筛选、判断能力和语言组织、归纳能力。对标注人员的高要求以及标注过程复杂耗时,共同导致了人工多评论摘要成本高昂。这也导致了多评论摘要任务缺乏标注数据。因此在无监督的条件下,设计算法自动对多评论进行摘要至关重要。现有无监督多评论摘要的研究还处于起步阶段,存在诸多不足。从对多评论的编码和摘要解码的角度:一方面现有的层级编码方法使得评论之间编码过程不可见,缺乏信息交互,容易导致次要共识信息的模糊甚至丢失;另一方面解码过程没有宏观地考虑评论中可能涵盖的多个方面的信息,会导致生成的摘要缺乏条理甚至信息冗余或者信息丢失。从无监督进行端到端模型训练的角度:现有研究要么缺乏有效的自监督训练目标,无法完成提取式摘要模型的训练优化;要么没有考虑分解评论中的共识和偏见信息,导致偏见信息影响共识信息的提取。从生成反映商家特色信息的摘要的角度:一方面现有的研究往往受制于局部优化的暴露偏差问题,导致生成的摘要倾向于重复自己的内容;另一方面缺乏对模型生成通用、平淡摘要内容的惩罚,导致缺乏特色信息。从满足不同用户个性化需求的角度:现有的基于方面的摘要方法通常是预定义的方面,难以适应用户多样的个性化需求以及不同商家独有的特色信息;另一方面不足之处在于较少关注用户的语言风格差异。针对现有多评论摘要任务研究存在的问题,本文以递进的方式提出了四种主要的改进算法。从编码和解码架构角度,提出了交互式层级多文档摘要序列到序列生成模型,包含应对编码器丢失次要信息问题的交互式层级编码器,以及应对解码器缺乏宏观信息问题的跨序列联合注意力机制。从无监督模型优化角度,提出了基于互信息的多角度评论自监督摘要预训练模式,包含应对提取式多文档摘要缺乏自监督目标问题的互信息共识学习算法,以及应对缺乏对共识和偏见信息的分解的多角度评论表征学习算法。从摘要文本特色优化的角度,提出了基于强化学习的特色信息生成算法,以应对文本生成受限于暴露偏差以及多评论摘要缺乏特色信息这两个问题。从用户个性化需求的角度,提出了基于用户画像的无监督个性化摘要生成算法,包含应对预定义方面难以适应个性化需求问题的个性化方面和文本风格联合建模的用户画像提取方法,以及应对用户语言风格差异的用户画像和个性化摘要生成的自监督学习机制。详细的实验表明提出的个性化多评论摘要算法相比对比方法,能够在没有标注数据用于训练的前提下,有效地生成符合多评论共识的、具有商家特色的摘要。并结合用户的个性化画像,改变关注的共识方面以及摘要风格,生成用户关心的个性化摘要。每个算法也在各自的实验上,用自动评价和人工评价的方式证明了有效性和必要性。最后,基于提出的个性化多评论摘要算法,设计并实现了个性化多评论摘要算法可视化展示系统。该系统集成了多评论信息展示、商户信息展示、主题词展示、不同算法为不同用户生成的摘要对比展示等功能,更加直观地展现了完整的研究成果。