基于深度学习的英文关系体抽取

这是一篇关于关系体抽取,深度神经网络,ResNet,RNN,Attention机制的论文, 主要内容为关系体抽取,即实体关系抽取,常用于问答系统和知识图谱构建等应用,是信息抽取领域中基础且重要的环节。本文主要讲述了结合ResNet、RNN以及Attention机制去完成关系体抽取任务。就目前而言,很多有效的实验普遍仅使用CNN作为encoder,经过多层卷积操作后,对池化的结果进行softmax分类。而本文使用RNN,并结合Attention机制对最后的结果做分类。在这个任务上很少有人将两者结合起来去做关系体抽取任务。本文模型用RNN结合Attention对卷积后的结果进行处理,而不是使用卷积神经网络的最大池化。此模型提高了使用深层CNN在远程监督的关系体抽取任务上的表现。有论文指出在完全监督的数据集Sem Eval-task8上使用RNN接卷积操作是有效果的,而在远程监督的数据集上受大量噪声影响,模型的效果并不尽人意。在本文实验中,结合ResNet残差块的特性,将残差块和RNN以及A ttention机制同时用于远程监督的关系体抽取当中去。最终,在NYT-Freebase数据集上获得的表现比使用单一模型ResNet的更要好。本文主要的贡献如下:(1)在弱监督关系体抽取考虑使用复合模型,结合ResNet和RNN去对数据中的噪声进行处理。(2)使用复合模型相比使用单一模型取得了更好的实验表现最终结果和PCNN+ATT齐平。(3)本文提出结合ResNet和RNN以及Attention机制的模型可以很轻易的迁移应用到其他NLP任务中。

基于高分二号遥感影像的水体变化检测——以奉节县为例

这是一篇关于高分二号,水体变化检测,Siam-U-Net++,ResNet,注意力机制的论文, 主要内容为水体作为自然资源的重要组成部分,关系着人类生活生产各个方面。由于人类活动和气候变化,水体的表面积和河床也会随之改变,影响着农业和经济活动,及时检测水体变化情况对自然资源统一监测监管尤为重要。高分二号遥感影像中地物几何结构清晰,空间信息丰富,显著提高了地表覆盖变化检测的准确度和效率,已广泛应用在自然资源监测中。因此,本文研究基于高分二号遥感影像的水体变化检测方法。本文的主要工作和研究内容如下:(1)结合传统变化检测背景,利用基于像素和面向对象两种传统方法对研究区水体进行变化检测,对比分析了不同方法对水体变化检测的检测效果。实验结果表明:基于像素的水体变化检测能够检测出水体细微变化,但容易受其他地物干扰;面向对象的水体变化检测能够检测水体变化边界细节,受分割尺度和分类器的干扰,会出现对象级的误检和漏检。(2)基于高分二号卫星遥感影像,制作奉节县水体变化检测数据集。首先对研究区变化前后遥感影像进行图像预处理,然后分别对前后影像进行水体样本标注,将矢量数据进行差值计算,得到水体变化区域真值,构建水体变化检测数据集,用以实现后续卷积神经网络的训练、验证和测试。(3)基于残差网络设计了改进Siam-U-Net++的水体变化检测网络模型。在影像输入方式采用了Siam-diff的方式,通过权值共享的方式获取更多不同时相的影像差异信息,并使用ResNet50残差网络作为主干网络,减少特征信息的丢失。通过与采用不同深度ResNet的Siam-U-Net++和其他主流网络进行对比实验。实验结果表明,改进的Siam-U-Net++在召回率、准确率和F1值指标上最优,并对比未采用Siam-diff的基于ResNet18的Siam-U-Net++分别提高了3.68%、3.12%、2.39%。改进的Siam-U-Net++能够有效地提升水体变化检测结果准确性和边界完整性,并强化了对岸边地物的抗干扰能力。(4)设计了融合注意力机制和改进Siam-U-Net++的水体变化检测模型。基于引入ResNet50的Siam-U-Net++网络,在上采样之前引入sc SE注意力机制,有效结合不同空间和通道的特征信息。并且通过对比在相同位置引入不同注意力机制进行有效性试验。试验结果表明融合sc SE注意力机制的Siam-U-Net++在精度指标和测试效果上最优,对比未融合注意力机制的网络在召回率、准确率和F1值精度指标上分别提高了0.53%、1.60%、1.09%。

基于ResDense U-Net的医学图像分割

这是一篇关于图像分割,U-Net,深度学习,ResNet,DenseNet,层归一化,卷积的论文, 主要内容为近年来,随着深度学习的迅速发展,医学图像分割技术取得了重大突破。在这方面,U-Net一直是医学影像界最流行的架构。U-Net是一种端对端的对称模型,在分割多模态医学图像方面表现了卓越的性能,为医生诊断和治疗病人提供了方便。但通过对医学数据集进行的多次实验,发现传统的U-Net在某些方面有不足的地方。因此本论文提出了一种新的深度学习模型来改进经典U-Net,本模型是基于DenseNet、ResNet的思想和U-Net的网络结构,故称它为ResDense UNet。并在皮肤病变的数据集和光学细胞的数据集上进行了多次测试与比较。ResDense U-net与经典U-Net相比,性能分别提升了3.07%、1.38%。虽然模型结构没有变化很大,但是在性能提升上较为明显,同时在成像的细节方面也比UNet更为完善。本文创新点如下:第一,基于ResNet和DenseNet的思想,将原U-Net中的连续双层卷积替换为ResDense-block,来缓解梯度消失和加强特征重用。考虑到U-Net原有的通道数逐级倍增,对ResDense-block中的输出通道做了些许调整,减少了参数,防止过拟合。第二,将所有基础卷积层替换为非对称卷积块,它的卷积核骨架是“十”字形的。虽然增长了训练时间,但是精度有所提高,并且采用了层归一化(LN)来提高模型的性能,使得模型的稳定不再依赖(7(6(8?4)0)的取值。第三,原U-Net是网络左半部提取的浅层特征与网络右半部提取的深层特征直接做了拼接,这种深层特征与浅层特征的直接拼接可能会对网络表达产生负面影响。本模型对这个长连接加入了数量级的Res-block,4,3,2,1,即最上层的长连接加入了4个Res-block,以此类推。这是考虑到深层特征与浅层特征有一定的语义差异,越靠近上层,这种差异越大,越靠近“U”底部,这种差异越小。也考虑过使用Dense-block,然而这里更多地是深层与浅层的问题,Resblock可以更好地解决深层网络问题,所以采用Res-block。医学图像在做分割时,感兴趣区域往往只占一小部分,且有可能遍及图像整体,这大大增加了分割的难度,尤其是在目标的边界区域。实验证明,本文的网络模型在这方面比经典U-Net表现更卓越。

基于表面肌电信号疲劳状态下的手势识别研究

这是一篇关于表面肌电信号,WGAN-GP,手势识别,信号处理,肌肉疲劳,ResNet,自适应滤波的论文, 主要内容为表面肌电信号(Surface electromyogram,sEMG)是一种微弱、复杂的生物电信号,它由人脑发出运动指令经神经系统传递,然后引起肌肉伸缩从而带动肢体运动,最终形成于皮肤表面。sEMG具有非侵入、采集方法简单、能够准确反映肢体运动特征等优势,近年来,利用sEMG驱动的仿生假肢技术正被人们深入研究。在仿生假肢控制领域,基于sEMG的手势动作识别技术一直是一个研究热点,众多科研人员在该技术的研究上都获得了一些成就。然而,大部分研究人员对基于sEMG的手势识别研究都只是集中在人体处于静止非疲劳状态,忽视了肌肉疲劳对于手势识别准确率的影响。肌肉疲劳是一种常见的生理现象,通常是经过持续性或间断性的运动后肌肉产生最大收缩力量或者最大输出功率的能力暂时性下降,导致最直观的感受就是肌力减弱,而这也势必会对做手势动作时的sEMG产生一定的影响。为此本文探讨了肌肉疲劳对基于sEMG手势动作识别准确率所造成的影响,并且提出了一种基于生成式对抗网络(Generative Adversarial Networks,GAN)的数据增强方法,用于增强疲劳状态下的sEMG,从而抑制肌肉疲劳对基于sEMG手势识别的影响。本文就疲劳状态下基于sEMG的手势识别进行了如下研究:(1)疲劳与非疲劳sEMG的获取。采用美国Biopac公司的MP160多导生理信号记录仪采集8个受试者的7种常见的手势动作的人体桡侧腕伸肌、指伸肌、尺侧腕伸肌、尺侧腕屈肌4块肌肉的sEMG,通过设计疲劳诱导实验分别在非疲劳状态和疲劳状态下各采集一次得到两种数据集。(2)活动段检测及滤波去噪。分别采用了滑动绝对值平均法和改进的短时能量多阈值法两种活动段检测方法,发现后者抗噪性能更强、准确度更高。在采集的sEMG中通过噪声分析发现主要存在50Hz及其倍数频率上的工频干扰和59Hz设备自身噪声,通过对比发现自适应滤波器对50Hz的工频干扰滤波效果更好,因此采用了基于归一化最小均方的自适应滤波器来滤除50Hz工频干扰和59Hz设备自身噪声,并结合巴特沃斯滤波器来滤除20Hz以下和500Hz以上的无用信息成分。(3)探究肌肉疲劳对基于sEMG手势识别的影响。提出了四种不同的方法来选择训练集和测试集,并通过K近邻(K-nearest Neighbor,K-NN)、支持向量机(Support Vector Machine,SVM)、决策树(Decision Tree,DT)三种传统机器学习算法和一种深度学习算法深度残差网络(Deep residual network,Res Net)对四种不同的训练/测试集中的七种手势动作进行分类识别,验证了肌肉疲劳会降低手势识别的准确率。具体来说,使用在非疲劳状态下训练的K-NN、SVM、DT、Res Net四种分类器,sEMG在非疲劳状态下的测试准确率分别为96.7%、89.0%、87.3%、97.5%,而在疲劳状态下的测试准确率分别降低到53.3%、55.4%、45.8%、64.8%。(4)肌肉疲劳影响的抑制。提出了一种基于GAN的肌肉疲劳抑制方法,通过将疲劳状态下的sEMG进行数据增强转换成非疲劳状态下的sEMG,然后再送入到用非疲劳状态下的手势sEMG数据训练好的分类模型进行分类识别。实验结果显示最终在疲劳状态下的测试准确率都提高了20%以上,四种分类器的识别准确率分别可以达到72.3%、80.9%、69.9%、92.1%,表明了本文所提出的方法可以有效克服肌肉疲劳对于手势识别准确率的影响,实现了对基于表面肌电信号手势识别模型鲁棒性的提升。

基于ResNet的大坝变形预测研究

这是一篇关于大坝,变形,预测,ResNet的论文, 主要内容为针对传统大坝变形预测模型存在预测精度低、鲁棒性差、效率低等问题,本文提出将ResNet引入大坝变形预测领域,以实现对大坝变形高效且精确地预测。首先,对变形监测数据进行了分析。本文以上犹江大坝监测数据为例,先对坝基、坝顶的监测数据进行了统计特征分析和相关性分析,后对大坝各监测点的沉降监测量与水位、温度监测数据进行了相关性分析。发现大坝各部位的沉降变形幅度存在显著差异,大坝不同部位的沉降变形与温度的相关性也存在明显的差异性,并且部分监测点还存在较为明显的多重共线性的现象,这是导致传统大坝变形预测模型拟合精度低、特征提取能力差、鲁棒性不足的重要原因。然后,对基于ResNet的大坝变形预测模型进行了构建。第一,针对传统模型特征提取能力差的问题,提出将变形影响因子编码成二维张量,并采用卷积和池化操作对特征进行提取,设计了本文模型的输入编码器。第二,针对传统模型拟合精度低的问题,提出引入多层的残差块的设计,增加模型的拟合能力,设计了本文模型的残差编码器。第三,针对传统模型需要重复建模、效率较低的问题,提出采用多输出的全连接层,提高模型的训练与预测的效率,设计了本文模型的全连接层稠密块。最终,本文建立了基于ResNet的坝基沉降变形预测模型(SD-V ResNet)和基于ResNet的坝顶沉降变形预测模型(Top-V ResNet)。最后,对SD-V ResNet和Top-V ResNet进行了工程应用。SD-V ResNet在5个训练周期后稳定收敛,收敛后的模型对767期坝基沉降监测数据进行预测,每期预测误差的绝对值均低于18)8)8)8),平均预测误差为0.398)8)8)8),比对比模型SD-V Le Net低0.098)8)8)8)、比SD-V MLP低0.598)8)8)8)。表明本文建立的SD-V ResNet可以精确地实现坝基沉降变形的预测,可为大坝变形预测工程应用提供参考。Top-V ResNet收敛后对坝顶28个监测点的沉降监测数据进行预测,预测误差的绝对值普遍低于18)8)8)8),平均预测误差为0.538)8)8)8),比Top-V Le Net低0.558)8)8)8)、比Top-V MLP低0.578)8)8)8)。表明TopV ResNet可以高效且精确地实现坝顶沉降变形的预测,可为大坝变形预测工程应用提供参考。

梅花鹿体温非接触监测方法研究

这是一篇关于非接触测量,目标检测,YOLO,ResNet,BP,图像融合的论文, 主要内容为近年来,随着机器视觉技术等人工智能领域技术逐渐应用于我们的日常生活当中,不断推动者智能化产业的发展。而梅花鹿是我国的特产品种。人类通过养殖,可以利用梅花鹿的皮、尾、鞭、筋、茸、血、肉等,这些物质在医药、食品、皮肤等领域都有很高的经济价值,其养殖规模也逐渐变大。但在养殖过程中,梅花鹿会出现各种疾病,短时间内会对梅花鹿生命造成危害,而传统人工对梅花鹿的监测往往效率不高,进而造成一系列的经济损失。为此,需要通过其体征信息的变化来判断梅花鹿的健康状况。人工测量梅花鹿体温会引起鹿的强烈应激反应,为此本文提出了一种梅花鹿体温非接触监测方法,研究内容主要分为以下几个方面:(1)梅花鹿个体信息检测。首先制作了梅花鹿数据集,采用录像设备进行拍摄,采集到来自吉林省长春市双阳区东鳌鹿业集团养殖场梅花鹿个体的视频数据。为了得到梅花鹿的个体信息,本文提出了一种基于改进后的梅花鹿面部识别模型SK-Res Net,模型使用Res Net-50作为基础模型,在模型中使用SK-Bottleneck模块融合多个感受野的信息多尺度提取面部特征。其次,在快捷连接中使用了最大池化层减少信息丢失。最后,在网络中使用ELU激活函数,以减少梯度消失,防止过拟合,加快收敛速度,提高模型的泛化能力。(2)梅花鹿眼部位置检测。利用改进后的YOLO5S的目标检测算法,将SKNet模块与YOLOv5s中backbone部分的Res模块进行融合,增加网络的感受野,提高了网络的特征提取能力,提高了检测的准确性,运用Transformer encoder模块替换了YOLOV5s中部分的CSP模块,模型捕捉全局信息和丰富上下文信息的能力增强,检测准确率进一步提高。(3)非接触测温装置的实现。以Jetson Nano人工智能开发板为核心配件,加入了红外热成像仪和摄像头。为了减少实际环境对温度测量精度的影响,运用最小二乘法多项式拟合和基于遗传算法的BP神经网络补偿算法的方法,构建温度拟合曲线,进而提高测量精度,最后通过对应像素坐标的图像融合的方法,将红外热图像和可见光图片进行了融合,实现了梅花鹿体温的非接触测量。

基于深度神经网络的血液白细胞分割

这是一篇关于白细胞分割,图像分割,卷积神经网络,U-Net,ResNet的论文, 主要内容为血涂片图像中白细胞的计数和识别对诊断包括白血病在内的某些血液疾病起着至关重要的作用。血液疾病的诊断通常由医生通过显微镜对血液涂片图像进行目视检查,但这种人工的方式既费时又费力,诊断结果依赖医生的经验,较为主观,且容易受到视觉疲劳等因素的影响导致检查精度下降。因此,有必要发展白细胞自动分析技术,而白细胞自动分割是进行白细胞计数和识别等自动分析的基础。本文以血涂片图像中白细胞分割为主题,提出了三种基于深度学习的血液白细胞分割算法。本文的主要研究内容如下:(1)提出了一种改进的基于U-Net的端到端白细胞分割算法。该算法使用像素级先验信息进行深度卷积神经网络的监督训练。具体地,该算法首先引入上下文感知特征编码器来提取多尺度的白细胞特征;然后,使用残差块实现白细胞精细化特征的提取;最后,通过特征解码器重建白细胞特征图,以实现端到端的白细胞分割。在三个白细胞图像数据集上的定量和定性实验结果表明,该算法提升了分割的精度和鲁棒性。(2)提出了一种基于双路径网络(DPN)和通道注意模块的白细胞分割算法。具体地,该算法首先在上下文感知特征编码器中引入双路径网络以提取多尺度图像特征;然后,使用通道注意模块捕获不同通道图之间的相互依赖性,并利用其进一步增强网络的特征提取能力;最后,利用跳跃连接减少图像信息在特征卷积过程中的损失,通过特征解码器重建白细胞特征图,实现白细胞分割。在三个数据集上的实验结果表明,该方法进一步提升了白细胞的分割精度。(3)提出了一种基于UNet++和ResNet的白细胞分割算法,简称为WBCNet。具体地,WBC-Net首先设计了一种带有残差块的上下文感知特征编码器来提取多尺度图像特征,并在密集卷积块上引入了混合跳跃路径来融合不同尺度下的图像特征;接着,使用由卷积和反卷积组成的特征解码器来重建白细胞特征图,实现白细胞分割。WBC-Net还基于交叉熵和Tversky指数定义了新的损失函数,用于指导网络的训练。在四个白细胞图像数据集上的实验结果表明,与几种新进的方法相比,WBC-Net具有更佳的分割性能。

基于ResNet的大坝变形预测研究

这是一篇关于大坝,变形,预测,ResNet的论文, 主要内容为针对传统大坝变形预测模型存在预测精度低、鲁棒性差、效率低等问题,本文提出将ResNet引入大坝变形预测领域,以实现对大坝变形高效且精确地预测。首先,对变形监测数据进行了分析。本文以上犹江大坝监测数据为例,先对坝基、坝顶的监测数据进行了统计特征分析和相关性分析,后对大坝各监测点的沉降监测量与水位、温度监测数据进行了相关性分析。发现大坝各部位的沉降变形幅度存在显著差异,大坝不同部位的沉降变形与温度的相关性也存在明显的差异性,并且部分监测点还存在较为明显的多重共线性的现象,这是导致传统大坝变形预测模型拟合精度低、特征提取能力差、鲁棒性不足的重要原因。然后,对基于ResNet的大坝变形预测模型进行了构建。第一,针对传统模型特征提取能力差的问题,提出将变形影响因子编码成二维张量,并采用卷积和池化操作对特征进行提取,设计了本文模型的输入编码器。第二,针对传统模型拟合精度低的问题,提出引入多层的残差块的设计,增加模型的拟合能力,设计了本文模型的残差编码器。第三,针对传统模型需要重复建模、效率较低的问题,提出采用多输出的全连接层,提高模型的训练与预测的效率,设计了本文模型的全连接层稠密块。最终,本文建立了基于ResNet的坝基沉降变形预测模型(SD-V ResNet)和基于ResNet的坝顶沉降变形预测模型(Top-V ResNet)。最后,对SD-V ResNet和Top-V ResNet进行了工程应用。SD-V ResNet在5个训练周期后稳定收敛,收敛后的模型对767期坝基沉降监测数据进行预测,每期预测误差的绝对值均低于18)8)8)8),平均预测误差为0.398)8)8)8),比对比模型SD-V Le Net低0.098)8)8)8)、比SD-V MLP低0.598)8)8)8)。表明本文建立的SD-V ResNet可以精确地实现坝基沉降变形的预测,可为大坝变形预测工程应用提供参考。Top-V ResNet收敛后对坝顶28个监测点的沉降监测数据进行预测,预测误差的绝对值普遍低于18)8)8)8),平均预测误差为0.538)8)8)8),比Top-V Le Net低0.558)8)8)8)、比Top-V MLP低0.578)8)8)8)。表明TopV ResNet可以高效且精确地实现坝顶沉降变形的预测,可为大坝变形预测工程应用提供参考。

基于深度学习的漏气信号分离与识别研究

这是一篇关于漏气信号检测,漏气信号分离,ResNet,CBAM注意力模块,Wave-U-Net的论文, 主要内容为有害气体泄漏一直是值得重视的问题,如船舶机舱中封存的二氧化碳、化学用品船舶的液氨液氮、天然气、六氟化硫灭弧气体等,如果出现泄漏,不但会对大气造成污染,而且可能会对工作人员的生命安全造成威胁。为提高有害气体泄漏检测的有效性,论文以气体泄漏声信号为对象,采集漏气信号,开发优化的Wave-U-Net深度学习网络进行降噪,将声信号转化成语谱图,研究优化的Res Net深度神经网络识别语谱图,设计组合网络,给出漏气信号分离识别的系统解决方案,并以GIS设备中的六氟化硫气体为例,进行气体泄漏的识别工作验证。论文的主要工作包括:(1)研究基于改进Res Net的漏气信号识别方法。首先研究网络模型对不同采集频率声源信号的适用性,开发网络训练所需的漏气识别训练集:针对一维声信号作为图像输入到卷积神经网络训练的问题,对不同采样率的拾音器采集到的声信号进行重采样的预处理,并在设置了帧长、滑块长度后对音频文件快速傅里叶变换至时频谱图以对接Res Net网络的输入接口。然后在Res Net网络中加入CBAM注意力模块对网络进行优化,优化后的网络更关注于待提取特征图的重点部分,有效提升了网络的性能。同时对网络的输出层进行了符合本文任务需求的优化,并通过对比训练的方式优化了学习率、每批次训练数等超参数。最后通过现场实验证明了模型在漏气信号识别任务上的有效性。(2)研究基于改进Wave-U-Net的漏气信号分离方法。考虑到模型对微弱漏气信号识别的不足,首先提出了改进数据集组成结构的方案,通过采集纯净漏气信号和在实际场景中可能出现的干扰背景噪声信号,结合自适应衰减因子的音源混合方法以及对背景噪声信号声功率的一定增益,制作了旨在解决微弱信号识别问题的数据集。然后提出了在漏气信号识别网络前置漏气信号分离网络来抑制复杂的变电站背景噪声干扰的方法,利用Wave-U-Net网络作为前置音源分离降噪网络,开发增加不同背景干扰噪声增益的训练数据集训练网络模型,结合盲源分离的评价指标和局部损失提出了全新的损失函数。最后通过实验证明改进后的网络性能有一定提升。(3)研究基于改进的Res Net&Wave-U-Net组合网络的漏气信号降噪识别方法。提出了一种由前置Wave-U-Net降噪提纯网络和后置Res Net漏气信号识别网络的组合网络来完成漏气信号的分离与识别任务的系统解决方案,通过在变电站现场的实验证明模型对人耳容易识别的响亮漏气信号在原来足够好的识别率的基础上又有一定提升,而对于主要需要解决的人耳难以分辨的微弱漏气信号在原来不理想的识别率上有着显著提升,实现了变电站六氟化硫泄漏检测问题和深度学习方法的结合,能实时检测漏气是否发生。