低压台区缺失数据的改进U-Net补全方法研究

这是一篇关于低压配电台区,缺失数据补全,数据高维相关性,U-Net,残差学习的论文, 主要内容为低压台区用户用电数据是负荷预测、线损计算、能效分析等应用的基础,但在采集、传输等环节出现无规律缺失,成为了后续高级应用分析的瓶颈。为保证低压台区用户用电数据的完整性,提出了基于改进U型网络(resnet U-Net,RU-Net)的多用户电力缺失数据补全方法。(1)首先,对低压台区缺失数据产生原因、缺失模式进行分析与总结;然后,提出缺失数据补全性能的三种评价标准,分别为平均绝对误差、平均百分比误差、均方根误差;最后,对残差U型网络相关的理论基础进行了详细的介绍,分别为卷积神经网络,U-Net网络、残差学习。(2)针对台区单一量测数据缺失问题,以低压台区功率数据为例首先对低压台区功率数据进行特性分析,并基于分析出的特性进行模型输入时空张量的构建;然后进行单量测缺失数据的改进U-Net补全模型的构建,利用RU-Net网络的编码与解码能力实现单量测缺失数据的重构,通过引入残差学习以及批归一化层优化网络结构;最后,基于所提方法对某台区用户功率数据随机缺失和连续缺失两种情况进行补全,结果表明,该方法不仅能实现随机缺失和连续缺失两种缺失情况的精确补全,而且所提方法在补全精度方面相比传统方法有不同程度的提高。(3)针对台区多量测数据缺失问题,首先对台区多量测数据特性进行分析,基于总结的特性进行测量-时间-用户三维输入张量的构建,这种高阶耦合数据结构使得模型更好的捕捉台区数据之间的复杂关系;然后进行多量测缺失数据的改进UNet补全模型的构建,利用RU-Net网络的编码与解码能力实现缺失数据的重构,通过引入残差学习以及批归一化层优化网络结构;最后,基于所提方法对某台区多量测数据随机缺失和连续缺失两种情况进行补全,结果表明该方法相比单量测量补全方法有更高的补全精度。

基于深度学习的乳腺肿瘤病理图像分析

这是一篇关于乳腺肿瘤,病理图像,注意力机制,肿瘤浸润淋巴细胞,残差学习的论文, 主要内容为目的:乳腺肿瘤严重危害女性群体健康,早发现、早治疗对提高患者生存率具有重要意义。病理检查是肿瘤诊断的“金标准”,其图像可作为确定肿瘤发展程度及预后的指标之一。由于病理图像中组织的多样性为肿瘤分析带来了困难,临床上急需一种智能化辅助算法有效实现肿瘤诊断,并提高图像分析效率。现有算法主要基于病理图像实现细胞分割、乳腺肿瘤的良恶性分类及预后分析等工作,虽然取得了部分成果,但是在特征提取能力、网络参数量及准确率方面仍有一定的提升空间。为此研究智能、高效、准确的病理图像分析算法对乳腺肿瘤的诊断具有重要意义。方法及结果:本文针对乳腺病理图像的特异性、模型特征提取能力不充分等问题,主要在乳腺肿瘤良恶性分类、肿瘤浸润淋巴细胞(Tumor-infiltrating lymphocytes,TILs)分割及预后分析三个方面做了研究。(1)乳腺肿瘤良恶性分类工作。为提高乳腺肿瘤分类精度,研究设计一种基于乳腺病理图像的分类网络(Depthwise separable convolutional normalized attention residual networks,DARE-Net)。为增强特征提取能力,DARE-Net模型创新性的提出了DAR模块。DAR模块能够更好的提取图像的高维特征信息,从而有效实现乳腺肿瘤的良恶性分类。将DARE-Net在Brea KHis及BACH混合数据集上进行了测试,在乳腺肿瘤良恶性分类上准确率达到了95.3%。(2)肿瘤浸润淋巴细胞分割工作。针对TILs特征提取不足及识别准确率有待提升问题,本文提出一种结合注意力机制与多尺度特征的分割网络(Squeeze-andattention mechanism and multi-scale feature network,SAMS-Net)。为提取图像中深层与浅层特征,SAMS-Net设计SAR模块、MSFF与RS模块,能够实现上下文信息融合从而提高分割精度。研究在公开数据集上对SAMS-Net进行了验证,SAMS-Net的Dice系数可达87.2%,Io U可达77.5%,在分割TILs上表现出一定的优越性。(3)乳腺肿瘤预后分析工作。现有的预后分析方法主要通过分析临床数据实现,然而临床数据存在无序性及无规则性等问题为预后分析带来了挑战。本研究基于乳腺全景病理图像,采用图像处理与人工智能技术对乳腺肿瘤患者的预后分析做了探索性研究。首先利用分块处理方式解决全景病理图像尺寸较大问题;其次采用特征提取技术实现图像块的纹理及颜色特征提取;最后,利用支持向量机(Support vector machine,SVM)实现基于全景病理图像的乳腺肿瘤预后分类,实验结果获得了较高的准确率。结论:本文基于乳腺病理图像,研究设计了DARE-Net算法、SAMS-Net算法及基于SVM的预后分析方法,分别取得了较好的乳腺肿瘤良恶性分类、TILs分割、乳腺肿瘤预后分析结果,能够为乳腺肿瘤的诊断治疗、预后分析提供可借鉴的分析方法。

X光片图像分类及医学报告自动生成算法研究

这是一篇关于X光片,图像分类,报告生成,注意力机制,残差学习的论文, 主要内容为X光片检查是常用的医学影像检查手段之一,因其经济、快捷的优势常被应用于各类胸部疾病的诊断。在临床诊疗过程中,不同疾病X光片图像相似度高,医生人工阅片压力大,费时费力,且不同医生诊断存在一致性差的问题,容易出现误诊、漏诊现象。随着人工智能技术的发展,利用深度学习方法实现基于X光片的胸部疾病辅助诊断算法的研究,可减轻临床医生工作量,提高诊断效率和精度,缩短患者等待时间,具有重要的研究意义和临床实际应用价值。当前,X光片辅助诊断算法通常存在对图像特征提取较不充分,未考虑不同层次空间特征之间关联性,语义特征融合不完全以及报告生成算法准确率较低等问题。本文针对X光片病理图像的相似度较高、模型特征提取能力不充分、语义信息特征之间关联性低等问题,重点对X光片图像智能分类算法及医学报告自动生成算法做了研究。(1)基于多空间注意力的X光片智能分类算法研究。针对X光片图像相似度较高及特征提取能力较为不充分等问题,为提高计算机辅助X光片诊断质量,提出一种基于多维空间特征提取及跳连接的多空间注意力机制网络(Multi-space attention network,MSA-Net)。将图像输入特征通过多层较小卷积组进行卷积分组映射,并通过跳连接特征加和操作,实现多维空间特征提取及融合,以充分提取更丰富的X光片细粒度特征;特征提取过程中,采用空间注意力和通道注意力,保留了特征在空间与通道之间的关联信息,将其进行加权处理,有效提高了X光片图像的智能分类准确率。在胸部X光片公开数据集Chest X-ray Images上实验研究表明,该算法二分类(正常、肺炎)准确率可达到97.21%,三分类(正常、细菌性肺炎、病毒性肺炎)准确率可达86.24%,分类识别性能较为突出,并通过对所提模块的消融实验证明了模型结构的有效性。(2)基于MSA-Net和共同注意力的医学报告自动生成算法研究。针对医生临床手动撰写医学报告费时费力、语义特征融合不完全及医学报告自动生成算法准确性较低等问题,为缓解临床压力,辅助医生诊疗,提高诊断效率,本文在编码器-解码器架构基础上,提出一种基于MSA-Net、共同注意力机制及LSTM方法的注意力多任务学习模型(Attention Multitasking learning network,AML-Net)。该模型可分为三个部分:首先,通过对MSA-Net进一步优化进行X光片图像多维空间特征提取,有效提取图像特征局部、全局特征,并通过MLC(多标签分类)进行了标签预测;然后,将医学报告文本及预测标签进行嵌入式融合,使用一种平行分层共同注意力机制通过相似矩阵,进行平行分层重点关注图像和文本中相似、相近的语义特征,进行加权处理,有效提高了生成报告的准确性;最后,通过报告生成网络分级LSTM(句子LSTM、单词LSTM),逐词生成医学报告。本文在IU X-Ray胸片报告数据集上做了对比、消融实验,实验结果表明,AML-Net在多个自然语言处理评估指标上获得了很好提升,其中BLUE-1达到0.466,具有良好的医学报告自动生成性能。本文在X光片图像分类及胸部医学报告自动生成算法研究中,分别设计和提出了MSA-Net算法及AML-Net架构,得到了较高的诊断准确率。本文所提两种算法,具有潜在的临床应用价值,预期不仅可以帮助临床医生提高工作效率,还为其他疾病X光片图像的临床筛查、诊断提供可借鉴的辅助诊断方法。

低压台区缺失数据的改进U-Net补全方法研究

这是一篇关于低压配电台区,缺失数据补全,数据高维相关性,U-Net,残差学习的论文, 主要内容为低压台区用户用电数据是负荷预测、线损计算、能效分析等应用的基础,但在采集、传输等环节出现无规律缺失,成为了后续高级应用分析的瓶颈。为保证低压台区用户用电数据的完整性,提出了基于改进U型网络(resnet U-Net,RU-Net)的多用户电力缺失数据补全方法。(1)首先,对低压台区缺失数据产生原因、缺失模式进行分析与总结;然后,提出缺失数据补全性能的三种评价标准,分别为平均绝对误差、平均百分比误差、均方根误差;最后,对残差U型网络相关的理论基础进行了详细的介绍,分别为卷积神经网络,U-Net网络、残差学习。(2)针对台区单一量测数据缺失问题,以低压台区功率数据为例首先对低压台区功率数据进行特性分析,并基于分析出的特性进行模型输入时空张量的构建;然后进行单量测缺失数据的改进U-Net补全模型的构建,利用RU-Net网络的编码与解码能力实现单量测缺失数据的重构,通过引入残差学习以及批归一化层优化网络结构;最后,基于所提方法对某台区用户功率数据随机缺失和连续缺失两种情况进行补全,结果表明,该方法不仅能实现随机缺失和连续缺失两种缺失情况的精确补全,而且所提方法在补全精度方面相比传统方法有不同程度的提高。(3)针对台区多量测数据缺失问题,首先对台区多量测数据特性进行分析,基于总结的特性进行测量-时间-用户三维输入张量的构建,这种高阶耦合数据结构使得模型更好的捕捉台区数据之间的复杂关系;然后进行多量测缺失数据的改进UNet补全模型的构建,利用RU-Net网络的编码与解码能力实现缺失数据的重构,通过引入残差学习以及批归一化层优化网络结构;最后,基于所提方法对某台区多量测数据随机缺失和连续缺失两种情况进行补全,结果表明该方法相比单量测量补全方法有更高的补全精度。

基于深度卷积神经网络的苹果栽培品种识别研究

这是一篇关于苹果叶片图像,图像识别,残差学习,上下文变换层,λ函数层的论文, 主要内容为随着苹果种质资源的不断开发和新品种的选育,苹果已成为保障我国水果市场周年稳定供应最重要的大宗水果之一。但由于缺乏快速准确鉴定栽培品种的信息技术,使得苹果品种混杂,苗木市场管理混乱,严重影响了我国苹果产业的可持续健康发展。目前,果农主要凭生产经验从果树农艺特征等形态学方面对苹果栽培品种进行识别,该方法无法量化,效率低、工作强度大,精度无法保证,不适用于现代标准化规模种植作业的生产实践。近年来,深度学习算法在计算机视觉领域得到广泛应用,其在大规模识别任务中表现出色,逐渐成为品种识别领域的首选方案。为此,本论文基于深度学习算法,探索了一种利用自然环境下拍摄的栽培品种苹果叶片图像实现苹果品种识别的方法。该方法能够对自然环境下的苹果幼叶、展开叶和成熟叶进行快速、准确地识别。为果树品种的科学布局、苗木的精准化管理、果园作业速度和精度的提高、人工成本的降低、苹果产业的升级以及打赢苹果产业高质量发展攻坚战提供重要技术支撑。本文以我国西北地区主要栽培的苹果品种为研究对象,对其叶片图像进行分类识别实验。本论文的主要工作包括:(1)构建了两套不同场景下苹果叶片图像数据集。自然环境理想化背景下的苹果叶片图像数据集(Apple Leaf Image Dataset with Idealized Background in Natural Environment,ALIDS-IBNE):该数据集包括14个苹果品种的叶片图像,总共14394张,剔除不符合实验条件的图像后,总共14000张图像,并对其进行标签标记,最终构建出ALIDS-IBNE数据集。自然环境下苹果叶片图像数据集(Apple Leaf Image Dataset in Natural Environment,ALIDS-NE):该数据集中包含了30个苹果品种的叶片图像,总共5496张图像;筛选掉不符合实验要求的图像,共计4800张图像;通过图像增强技术进行扩增,最终ALIDS-NE数据集包含24000张苹果叶片图像。(2)针对现有的苹果品种识别方法存在识别条件严苛、精度较低以及鲁棒性不强等问题,优化了一种基于上下文变换的残差卷积神经网络(Contextual Transformer Residual Convolutional Neural Network,Co TRes Net)的苹果叶片识别方法。该网络在Res Net网络模型的基础上引入了上下文变换(Contextual Transformer,Co T)层,并定义了基于上下文变换的残差卷积模块。该模型可以更好地利用背景信息指导动态注意力矩阵的学习,从而实现增强网络特征表达能力的效果,达到高效提取苹果叶片特征的目的。该模型在ALIDS-IBNE的独立测试集上进行预测实验,结果显示,优化后的Co TRes Net网络对14个品种的苹果叶片图像的平均识别精度达到了98.60%,优于VGG16、Efficient-B5和Res Net50等经典卷积神经网络的识别性能,证明其能够利用苹果叶片图像精确地鉴别苹果品种。(3)针对在自然环境下拍摄的苹果叶片图像背景复杂、光源多变、叶片样本生长周期多样而导致模型识别精度低以及泛化性不强等问题,提出了一种基于λ函数和上下文变换的残差卷积神经网络方法(Lambda and Contextual Transformer Residual Convolutional Neural Network,La CTRes Net)。La CTRes Net方法在Co TRes Net方法的基础上引入了λ函数层,定义了基于λ函数的残差卷积模块,并讨论了四组不同残差卷积模块的位置分布以及数量配比对网络识别性能的影响。λ函数层采用一种全新的函数式编程方法来定义网络中的层,能显著减少注意力图大量占用内存的情况。该计算层对输入的特征进行平滑化和升维,使网络能够有效地学习细粒度特征,从而提高模型的识别精度。La CTRes Net模型在ALIDS-NE的独立测试集上的平均识别精度达98.72%,对比基准模型Res Net50和(2)中的最优模型Co TRes Net26在ALIDS-NE的独立测试集上的表现,识别准确率分别高了9.07%、1.89%,且模型的参数量分别减少了5.57M、0.56M。证明了引入λ函数层后的残差卷积神经网络在自然环境下拍摄的苹果叶片图像上的特征提取具有较大优势,能够实现模型高精度和强泛化性识别。

服装知识图谱构建及嵌入研究

这是一篇关于服装知识图谱,知识图谱嵌入,Inception,混合空洞卷积,残差学习的论文, 主要内容为近年来,随着人工智能技术和服装电子商务的飞速发展,服装商品检索、个性化推荐等新型应用得到了广泛的关注,但也随之产生海量的服装数据,传统存储技术并不能很好的利用和开发它本身的价值。知识图谱作为一种人工智能前沿技术,可以充分利用大数据环境下产生的海量服装数据,以结构化的方式储存和管理,有效充分利用服装数据,提高检索效率。进而,为了已建服装知识图谱的有效利用,需要将知识图谱中的知识嵌入表示为向量。针对上述问题,本文基于服装商品属性完成了服装知识图谱构建,并提出了一种知识图谱嵌入模型上。本文核心内容包括以下三部分:(1)基于服装商品属性,结合本体概念和图数据库技术,完成了服装知识图谱构建。以电商网站的服装商品数据作为主要数据来源,通过爬虫技术获取数据,借助基于BiLSTM+CRF的深度学习模型完成服装信息抽取,使用Protege工具对服装领域本体进行构建,并生成RDF数据。使用语义插件完成RDF三元组数据到图数据结构的映射后,通过Neo4j图数据库对服装数据存储,完成服装知识图谱的构建。(2)以ConvE为代表将卷积神经网络应用于知识图谱嵌入中,用以捕捉实体和关系的交互信息,但其标准卷积捕捉特征交互信息能力不足,特征表达能力低下。针对特征交互能力不足问题,提出了一种基于改进Inception结构的知识图谱嵌入模型—InceE模型。该模型首先使用混合空洞卷积替代标准卷积,以提高特征交互信息捕捉能力;其次使用残差学习网络结构,以减少特征信息丢失。(3)将提出的基于改进Inception结构的知识图谱嵌入模型在三个基准数据集Kinship、FB15k、WN18以及服装数据集上进行了链接预测任务实验,实验结果表明,该模型相比于其它多种经典模型在MRR、Hit@1、Hit@3和Hit@10多个指标也取得的了更好效果,验证了该模型具有更强的特征交互信息捕捉能力和普适性。

X光片图像分类及医学报告自动生成算法研究

这是一篇关于X光片,图像分类,报告生成,注意力机制,残差学习的论文, 主要内容为X光片检查是常用的医学影像检查手段之一,因其经济、快捷的优势常被应用于各类胸部疾病的诊断。在临床诊疗过程中,不同疾病X光片图像相似度高,医生人工阅片压力大,费时费力,且不同医生诊断存在一致性差的问题,容易出现误诊、漏诊现象。随着人工智能技术的发展,利用深度学习方法实现基于X光片的胸部疾病辅助诊断算法的研究,可减轻临床医生工作量,提高诊断效率和精度,缩短患者等待时间,具有重要的研究意义和临床实际应用价值。当前,X光片辅助诊断算法通常存在对图像特征提取较不充分,未考虑不同层次空间特征之间关联性,语义特征融合不完全以及报告生成算法准确率较低等问题。本文针对X光片病理图像的相似度较高、模型特征提取能力不充分、语义信息特征之间关联性低等问题,重点对X光片图像智能分类算法及医学报告自动生成算法做了研究。(1)基于多空间注意力的X光片智能分类算法研究。针对X光片图像相似度较高及特征提取能力较为不充分等问题,为提高计算机辅助X光片诊断质量,提出一种基于多维空间特征提取及跳连接的多空间注意力机制网络(Multi-space attention network,MSA-Net)。将图像输入特征通过多层较小卷积组进行卷积分组映射,并通过跳连接特征加和操作,实现多维空间特征提取及融合,以充分提取更丰富的X光片细粒度特征;特征提取过程中,采用空间注意力和通道注意力,保留了特征在空间与通道之间的关联信息,将其进行加权处理,有效提高了X光片图像的智能分类准确率。在胸部X光片公开数据集Chest X-ray Images上实验研究表明,该算法二分类(正常、肺炎)准确率可达到97.21%,三分类(正常、细菌性肺炎、病毒性肺炎)准确率可达86.24%,分类识别性能较为突出,并通过对所提模块的消融实验证明了模型结构的有效性。(2)基于MSA-Net和共同注意力的医学报告自动生成算法研究。针对医生临床手动撰写医学报告费时费力、语义特征融合不完全及医学报告自动生成算法准确性较低等问题,为缓解临床压力,辅助医生诊疗,提高诊断效率,本文在编码器-解码器架构基础上,提出一种基于MSA-Net、共同注意力机制及LSTM方法的注意力多任务学习模型(Attention Multitasking learning network,AML-Net)。该模型可分为三个部分:首先,通过对MSA-Net进一步优化进行X光片图像多维空间特征提取,有效提取图像特征局部、全局特征,并通过MLC(多标签分类)进行了标签预测;然后,将医学报告文本及预测标签进行嵌入式融合,使用一种平行分层共同注意力机制通过相似矩阵,进行平行分层重点关注图像和文本中相似、相近的语义特征,进行加权处理,有效提高了生成报告的准确性;最后,通过报告生成网络分级LSTM(句子LSTM、单词LSTM),逐词生成医学报告。本文在IU X-Ray胸片报告数据集上做了对比、消融实验,实验结果表明,AML-Net在多个自然语言处理评估指标上获得了很好提升,其中BLUE-1达到0.466,具有良好的医学报告自动生成性能。本文在X光片图像分类及胸部医学报告自动生成算法研究中,分别设计和提出了MSA-Net算法及AML-Net架构,得到了较高的诊断准确率。本文所提两种算法,具有潜在的临床应用价值,预期不仅可以帮助临床医生提高工作效率,还为其他疾病X光片图像的临床筛查、诊断提供可借鉴的辅助诊断方法。

深度学习模型U-Net的理论研究与应用

这是一篇关于深度学习,U-Net,残差学习,特征融合,损失函数的论文, 主要内容为近年来随着深度学习的迅猛发展,卷积神经网络因其强大的特征提取能力被广泛应用到计算机视觉任务中。基于卷积神经网络的全连接神经网络(Fully Convolutional Network,FCN)是一种被广泛应用于图像分割任务的深度学习方法,但在一些医学图像分割任务中还未达到预期效果。基于FCN的U-Net模型在生物医学图像分割任务中取得了更好的分割结果。目前基于U-Net的深度学习方法已经成为图像分割任务中主流方法之一。但由于图像质量、目标大小形状各异、相似结构混淆、数据不平衡等因素,U-Net模型对于细颗粒度分割的准确度还有待提升,因此研究深度学习U-Net模型理论,进一步提升其细颗粒度分割效果,具有重要的理论及其应用价值。本文研究了深度学习U-Net模型理论知识,提出了两种U-Net改进模型,具体的:一、深度循环残差 U-Net(deep recurrent U-Net,DRU-Net)模型:本文第三章,受残差学习模型启发,我们使用循环残差块(recurrent residual convolutional neural network block,RRCNN block)替代经典U-Net模型下采样和上采样路径中的普通卷积层的操作,设计了 DRU-Net模型。相较于经典的U-Net模型,DRU-Net网络具有更深的网络,更强的特征积累能力,在细颗粒度图像分割中具有一定优势。二、加强残差U-Net(enhanced residual U-Net,ERU-Net)模型:对于细颗粒度图像分割任务,研究发现更多局部信息的提取会提高模型分割准确性,因此本文第四章提出了具有一条下采样路径和三条上采样路径的ERU-Net模型,该模型特殊的结构形成了三条U-path,三条U-path之间的特征融合使得模型能够捕捉更多的局部信息,从而实现更加精准的分割。本文应用这两种改进U-Net模型DRU-Net和ERU-Net模型分割眼底图像,在公开的数据集上,与经典U-Net、残差U-Net及已存在的一些方法相比。结果显示这两种改进模型DRU-Net和ERU-Net模型具有较高的AUC值。特别地,在局部对比度低、存在相似结构等一些挑战区域,DRU-Net和ERU-Net模型均能准确分割病灶。此外,损失函数的选取对模型性能具有一定的影响,本文最后一部分分析了 U-Net模型常用的损失函数本质思想,进行了初步的比较,为今后能够更好的选择合适的损失函数提供一定的参考。

基于残差时空深度学习模型的土壤湿度预测

这是一篇关于土壤湿度,深度学习,LSTM,残差学习,环境变量的论文, 主要内容为在生态系统管理以及精准农业等多个领域,土壤湿度预测在许多实际应用中发挥重要作用,由于土壤湿度的远期变化具有很大的不确定性,因此对土壤湿度的预测尤其是长期预测存在着巨大的困难与挑战,因此,本文开发了基于长短期记忆的具有残差学习的新型编解码MCR-LSTM深度学习模型以及捕捉环境变量关系信息的ECs-LSTM深度学习模型,作为一种数据智能替代工具强化土壤湿度的预测效果。MCR-LSTM模型主要包括两个层:编解码卷积LSTM层和具有完全连接层的LSTM层,残差学习用于通过考虑输入时间步和预测时间步之间的中间时间序列数据来增强预测能力。ECs-LSTM以卷积LSTM为内核进行改进,用于捕捉土壤湿度、降雨量、土壤温度等时序数据环境变量之间关系从而进一步提升预测效果。本文使用FLUX NET站点数据,在以1、5和10天的提前天数测试了MCR-LSTM用于土壤湿度预测,结果表明,基于LSTM为基础对比模型的R2指标,MCR-LSTM带来的改进平均约为6.93%(1天)、3.22%(5天)、和6.4%(10天);同时,ECs-LSTM模型与以单环境变量以及多环境变量的普通LSTM模型为对比,取得了良好的效果,相比单环境变量LSTM,R2平均提升了14.9%,RMSE平均降低了12.0%,MAE平均降低了39.6%。此外,本文还广泛讨论了不同条件下土壤湿度的可预测性,即在MCR-LSTM中调整不同的超参数、不同的预测模型、不同的气候区域以及不同的地点对结果的影响,以及ECs-LSTM中不同协变量对于土壤湿度预测结果影响的重要程度,以进一步理解模型的表现,具体研究内容如下:基于编解码结构提升预测效果研究。编解码循环神经网络,由两个递归神经网络(RNN)组成。本文涉及编解码结构的实验分别使用两个LSTM用作编码器与解码器。第一个编码器网络将输入数据转换成另一种规格的向量表示,第二个解码器网络则继续将该向量作为输入,输出序列为预测模型最终输出。两个网络之间的连接就是中间的一个向量,模型中的编解码层是共同训练的,令原始输入序列数据与预测序列数据之间的损失函数最小化,再将使用编解码计算的输出序列与原始输入结合的条件概率作为现有非线性模型的一个额外特征,同时伴随编解码结构的引入,深度学习预测模型的网络深度得到有效拓展,模型的性能得到了改善。基于残差学习提升预测效果研究。通常来讲,越深层的神经网络越难训练,由于未来数据的不确定性和复杂性,时间序列数据的长期预测比短期预测困难,并且深度学习模型神经网络的层次深度对模型性能起到非常重要的影响,伴随着网络层数的增加,深度学习网络可以提取更为复杂的特征模式,所以当深度学习网络模型的层次更深时,直觉上可以取得更好的结果,但实际上却并非如此。因此我们提出了一种带残差学习的编解码模型,用以精细化网络的训练,解决深度学习模型的长期预测精度以及网络退化等问题,进一步提升预测模型效果。基于卷积LSTM研发的ECs-LSTM捕捉动态环境协变量关系研究。我们将土壤湿度预测表述为一个时空序列预测问题,通过考虑多个动态协变量输入,以及考虑多个环境变量间关系信息,从数据横向关系上讲其模型的多维度输入可理解为一种横向拓展的时空序列。通过调整全连接LSTM(FC-LSTM)单元结构,使其在输入到状态的转换以及状态到状态转换中都应用卷积算法,在此基础上我们提出了ECs-LSTM深度学习网络模型,针对土壤湿度预测问题建立了一种端到端的可训练模型,实验结果表明,我们的ECs-LSTM深度学习神经网络可以更好地捕捉土壤湿度,降雨量,以及土壤温度等动态环境协变量的时空相关性信息。关于土壤湿度预测协变量重要性研究。每个预测变量对机器学习算法生成的模型都有影响,可以使用变量重要性来测量统计效果的显著性。将不同基于LSTM的模型以RMSE增加的形式计算模型内部变量重要性,并以百分比形式确定变量重要性。另一方面,也可以将变量重要性作为预测变量对土壤湿度的相对贡献。平均绝对误差损失(MAE)可以表征所生成模型中预测变量的影响,并显示出如果在预测模型中不考虑该环境变量的所带来影响的程度。