非同源样本与不同仪器间NIRS深度学习模型转移方法研究
这是一篇关于近红外光谱,模型转移,双向长短期记忆,启示-残差网络,微调的论文, 主要内容为近红外光谱(NIRS)技术具有快速、无损、环保等特点,然而,当光谱仪器或被测样品变化时,已建立的光谱模型通常不再适配。模型转移旨在解决此问题,对推广近红外光谱速测应用具有重要意义。在广泛调研的基础上,本文提出一种基于深度学习的定量建模和新场景下模型共享新方法。具体研究内容如下:首先,设计一种全连接层与Bi-LSTM并行组合的改进网络结构,针对聚谷氨酸(γ-PGA)肥和畜禽粪便肥的NIRS数据集,分别建立源域γ-PGA浓度和牛粪干物质(DM)含量的定量模型,并与PLS、ELM等传统模型进行对比。研究结果表明,改进Bi-LSTM定量网络增强了主干网络对光谱信息的提取,对两类肥料NIRS数据集的预测精度均大大提升。其次,设计冻结和更新Bi-LSTM层权重的两组微调(Fine-tuning)方案,用目标域γ-PGA肥和鸡粪的NIRS校正集训练源域定量网络,获得性能最优的迁移神经网络,并与PDS、CCA、SBC、TCA和Tradaboost等5种传统迁移方法所建模型进行比较。研究结果表明,两组Fine-tuning的深度迁移学习都能修复非同源样本间NIRS的特征差异,尤其是更新Bi-LSTM层权重全局调整方法,使非同源样本间的NIRS特征概率密度更接近相同分布,所建迁移模型性能更优。最后,设计一种1D-Inception-Res Net网络结构,针对3台不同型号光谱仪采集的甘蔗NIRS公开数据集,建立甘蔗中ADF和IVOMD两种成分的定量模型;然后通过调整Inception模块的权值实现该神经网络在不同仪器间的传递;并与PDS、CCA、SBC等传统模型转移方法所得结果进行比较。研究结果表明,Fine-tuning-1DInception-Res Net迁移网络具有更强的特征提取和泛化力,有效缩小仪器间光谱的特征差异,实现NIRS深度学习网络模型在不同仪器间传递共享。本文研究了具有改进结构的Bi-LSTM和1D-Inception-Res Net网络在NIRS领域的定量建模,以及网络模型在非同源样本、不同仪器间的深度迁移学习。本文的研究对丰富近红外光谱智能建模算法、促进NIRS在更多场景下的实际应用具有重要价值,同时对其它光谱分析技术的建模和模型迁移研究也具有借鉴意义。
基于中文知识图谱的金融领域问答系统的研究与实现
这是一篇关于问答系统,知识图谱,双向长短期记忆,语义依存分析,依赖缩减的论文, 主要内容为随着互联网的飞速发展,问答系统为用户提供智能知识服务而受到青睐。本文从金融领域的角度出发,针对用户所提问句的不确定性和多样性,对金融领域中文数据进行分析梳理和结构化,构建了知识图谱,研究并实现了基于中文知识图谱的金融领域问答系统(CF-KGQA)。主要工作如下:1.获取与存储数据,构建了具有金融领域特性知识图谱。(1)搭建了一套一主十从的分布式爬虫系统,且为保障数据存储的安全,搭建了可主从备份的数据库集群。(2)定义知识图谱中实体、实体间关系的概念。在构建知识图谱时,不仅要考虑金融领域特性设计图谱结构,还要根据问答系统的实际需求不断进行调整。2.提出了基于深度学习的金融领域问句语义依存分析方法。提出了一种基于讯飞开放平台的语义依存图分析(Semantic Dependency Graph Parsing,SDGP)、双向长短期记忆网络(Bidirectional Long Short-Term Memory,BLSTM)和条件随机场(Conditional Random Field,CRF)的语义依存分析方法(DR-BLSTM-CRF)。(1)结合BLSTM和CRF的命名实体识别(Named Entity Recognition,NER)算法对问句进行命名实体识别,获得一个包含字符标签信息的序列。(2)采用基于讯飞开放平台Web API对问句进行语义依存图分析,获得一个包含语义依存信息的句子表示,再结合(1)中的命名实体识别结果,通过依赖缩减得出更为准确的语义依存图。实验结果表明,在自建的约140000条金融领域问句数据集上,本文提出的方法与语言技术平台(Language Technology Platform,LTP)的语义依存分析效果相比,准确率、召回率和F1值分别提高33.4%、33.9%和34.2%,该方法可以有效地对金融领域问句进行语义依存分析。3.设计并实现了基于知识图谱的问答系统。在之前理论和实验基础上,将知识图谱和基于深度学习的金融领域问句语义依存分析方法应用于问答系统,设计知识图谱模块、前端展示模块和问答模块三大功能模块,并将问答结果在网页以动态图的形式进行展示。
基于特征融合的三维点云场景理解研究及系统实现
这是一篇关于三维点云场景理解,特征融合,图注意力网络,注意力机制,双向长短期记忆的论文, 主要内容为三维点云场景理解的分类与分割任务是分析三维点云数据的基础,广泛应用于自动驾驶、遗迹保护、测绘地理、医学检测等实际应用中。随着深度学习和三维点云采集技术的不断发展,研究学者开始对点云的分类与分割方法进行大量研究。目前已有的大多数方法虽然解决了点云的无序性、非结构性以及信息不完整性等问题,但仍未充分挖掘点云的细粒度局部几何信息和上下文信息,存在“表观相似目标不能有效区分”、“小目标误分割”以及“分割边缘粗糙”等问题。针对上述问题,本文主要研究了基于特征融合的三维点云场景理解,实现三维场景理解中的形状分类、零件分割和语义分割任务,并侧重围绕点云的形状特征、局部几何特征、空间上下文信息及特征融合等内容展开研究。本文完成的主要工作如下:1.提出了一种融合细粒度多尺度信息的特征提取方法针对现有方法存在的未充分挖掘点云细粒度局部几何特征导致的表观相似目标不能有效区分的问题,本文提出了一种融合细粒度多尺度信息的特征提取方法。首先通过构建图注意力卷积层学习不同局部区域的细粒度多尺度特征,然后利用空间注意力机制强调不同尺度特征的重要性,将多尺度特征加权融合成更具有鉴别力的细粒度局部区域特征。经实验证明该方法可以充分挖掘三维点云的细粒度局部几何特征,增强网络的细分类能力,总体上提高三维场景理解中形状分类、零件分割和语义分割任务的准确率。2.提出了一种基于上下文注意力RNN编码的特征融合方法针对现有方法存在的缺乏结合细粒度局部上下文信息导致的小目标误分割、分割边缘粗糙等问题,本文提出了一种基于上下文注意力RNN编码的特征融合方法。首先通过双向长短期记忆网络捕获不同局部区域之间的上下文信息,然后通过一种改进的分组注意力机制突出不同局部区域特征的重要程度,将局部区域特征加权融合成包含细粒度局部几何信息和上下文信息的全局语义特征。最后,为了最小化模型训练误差,本文网络的损失函数同时考虑分类损失和相似损失。经实验证明该方法可以充分捕获局部区域间的相关性,获取点云的细粒度空间上下文信息和边缘信息,在物体存在遮挡重叠时,更好地分割出不同的物体,提高点云分类与分割任务的性能。3.设计并搭建了三维点云场景理解系统以本文所提的点云分类与分割算法研究为基础,对基于特征融合的三维点云场景理解系统进行需求分析和总体设计,并利用VSCode、Vue、Python以及Qt等工具加以实现,完成了用户登录、数据处理、模型训练、模型测试、结果展示等模块的设计与开发。本文网络在形状分类任务中总体精度达到了 92.9%,比PointNet和PointNet++分别高出3.7%和2.2%,比A-CNN、Point2Sequence和AGCN均高出0.3%;在零件分割任务中平均实例交并比达到了 85.6%,比DGCNN和Point2Sequence分别高出0.5%和0.4%;在语义分割任务中平均交并比达到了 66.5%,比Grid-GCN和AGCN分别高出8.7%和9.9%。综上,本文提出了一种具有鲁棒性和可行性的三维点云场景理解方法,有效缓解了复杂场景中“表观相似目标不能有效区分”、“小目标误分割”、“分割边缘粗糙”等问题,最后设计并实现了一个界面友好、操作简单的三维点云场景理解演示系统。
深度学习在简历解析中的应用研究
这是一篇关于简历解析,双向长短期记忆,字序列,特征融合,注意力机制的论文, 主要内容为随着文本数据在互联网上的快速增长,海量格式自由的文本简历虽然在工作中给人们带来了便利,但也产生了信息过载的困扰。为了提升非结构化文本简历的解析性能,本文将深度学习技术应用于简历解析中。主要工作如下:1.基于字序列的中文简历解析方法研究。针对浅层神经网络生成词表示的缺陷,构建双向长短时记忆模型(Bidirectional Long Short-Term Memory,BLSTM)对字序列进行建模,获得包含词内部信息的词表示;然后结合BLSTM和条件随机场(Conditional Random Fields,CRF)(BLSTM-CRF)对生成的词表示进行建模并对模型调优;最后使用训练好的模型对非结构化文本简历进行解析。实验结果显示,与传统词向量方案的简历解析模型相比,该方法的F1-score提升了2.31%。2.基于特征融合的中文简历解析方法研究。针对简历解析模型使用单一特征难以提高模型性能的局限性,提出融合多种有效特征来提升简历解析模型性能的方案。本文融合的是传统浅层神经网络生成的语义特征和BLSTM对字序列建模生成的特征。(1)采用concat的方式对这两种特征进行融合,然后使用BLSTM-CRF对融合之后的特征进行建模并对模型调优,最后使用训练的模型对非结构化的文本简历进行解析。实验结果表明,与传统词向量方案、字序列方案的简历解析模型相比,该方法的F1-score分别提升了3.27%、0.96%。(2)引入注意力机制用于融合上述两种特征,并将注意力机制引入至BLSTM-CRF模型中,最终采用训练好的基于注意力机制的BLSTM-CRF模型对非结构化简历进行解析。仿真结果显示,优化后与传统词向量方案、字序列方案、concat特征融合方案的简历解析模型相比,该方法的F1-score分别提升了6.39%、4.39%、3.43%。3.基于深度学习的中文简历解析系统设计。在之前实验和理论基础上设计将深度学习应用于中文简历解析的系统;在网页上展示了简历解析的结果,并将解析的结果应用于构建人物和公司的知识图谱。
基于特征融合的三维点云场景理解研究及系统实现
这是一篇关于三维点云场景理解,特征融合,图注意力网络,注意力机制,双向长短期记忆的论文, 主要内容为三维点云场景理解的分类与分割任务是分析三维点云数据的基础,广泛应用于自动驾驶、遗迹保护、测绘地理、医学检测等实际应用中。随着深度学习和三维点云采集技术的不断发展,研究学者开始对点云的分类与分割方法进行大量研究。目前已有的大多数方法虽然解决了点云的无序性、非结构性以及信息不完整性等问题,但仍未充分挖掘点云的细粒度局部几何信息和上下文信息,存在“表观相似目标不能有效区分”、“小目标误分割”以及“分割边缘粗糙”等问题。针对上述问题,本文主要研究了基于特征融合的三维点云场景理解,实现三维场景理解中的形状分类、零件分割和语义分割任务,并侧重围绕点云的形状特征、局部几何特征、空间上下文信息及特征融合等内容展开研究。本文完成的主要工作如下:1.提出了一种融合细粒度多尺度信息的特征提取方法针对现有方法存在的未充分挖掘点云细粒度局部几何特征导致的表观相似目标不能有效区分的问题,本文提出了一种融合细粒度多尺度信息的特征提取方法。首先通过构建图注意力卷积层学习不同局部区域的细粒度多尺度特征,然后利用空间注意力机制强调不同尺度特征的重要性,将多尺度特征加权融合成更具有鉴别力的细粒度局部区域特征。经实验证明该方法可以充分挖掘三维点云的细粒度局部几何特征,增强网络的细分类能力,总体上提高三维场景理解中形状分类、零件分割和语义分割任务的准确率。2.提出了一种基于上下文注意力RNN编码的特征融合方法针对现有方法存在的缺乏结合细粒度局部上下文信息导致的小目标误分割、分割边缘粗糙等问题,本文提出了一种基于上下文注意力RNN编码的特征融合方法。首先通过双向长短期记忆网络捕获不同局部区域之间的上下文信息,然后通过一种改进的分组注意力机制突出不同局部区域特征的重要程度,将局部区域特征加权融合成包含细粒度局部几何信息和上下文信息的全局语义特征。最后,为了最小化模型训练误差,本文网络的损失函数同时考虑分类损失和相似损失。经实验证明该方法可以充分捕获局部区域间的相关性,获取点云的细粒度空间上下文信息和边缘信息,在物体存在遮挡重叠时,更好地分割出不同的物体,提高点云分类与分割任务的性能。3.设计并搭建了三维点云场景理解系统以本文所提的点云分类与分割算法研究为基础,对基于特征融合的三维点云场景理解系统进行需求分析和总体设计,并利用VSCode、Vue、Python以及Qt等工具加以实现,完成了用户登录、数据处理、模型训练、模型测试、结果展示等模块的设计与开发。本文网络在形状分类任务中总体精度达到了 92.9%,比PointNet和PointNet++分别高出3.7%和2.2%,比A-CNN、Point2Sequence和AGCN均高出0.3%;在零件分割任务中平均实例交并比达到了 85.6%,比DGCNN和Point2Sequence分别高出0.5%和0.4%;在语义分割任务中平均交并比达到了 66.5%,比Grid-GCN和AGCN分别高出8.7%和9.9%。综上,本文提出了一种具有鲁棒性和可行性的三维点云场景理解方法,有效缓解了复杂场景中“表观相似目标不能有效区分”、“小目标误分割”、“分割边缘粗糙”等问题,最后设计并实现了一个界面友好、操作简单的三维点云场景理解演示系统。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:源码客栈网 ,原文地址:https://m.bishedaima.com/lunwen/52678.html