基于循环神经网络RNN的领域命名实体识别方法研究
这是一篇关于知识图谱,循环神经网络,领域命名实体识别,协同训练,样本迁移的论文, 主要内容为随着信息时代的发展,人们越来越倾向于在网上检索信息和获取问题答案。传统的搜索引擎针对用户检索的问题往往返回的是相关文档而非确切的答案,因此基于知识图谱的问答系统逐渐发展起来。命名实体识别(Named Entity Recognition,NER)作为构建知识图谱中基础而重要的一步而被广泛研究。而由于不同领域文本具有不同的特征和风格,使得领域NER的研究难度大大增加。近年来,神经网络在命名实体识别方面展现了巨大的应用前景,循环神经网络(Recurrent Neural Network,RNN)成为解决实体识别任务的一种卓越有效的方法,但其需要大量标签数据,而带标签数据的缺乏一直是一个难以解决的问题。本文在现有NER方法的基础上,主要解决当标签数据极少时领域NER的识别方法,基于循环神经网络RNN提出了一种改进的ERNN模型,同时结合样本迁移方法和协同训练策略,有效提高了领域NER的识别精度。立足于标签数据远远缺乏的情景,本文中主要的工作包括:(1)研究和分析现有概率统计模型和循环神经网络在NER任务上的效果,在ATIS(Airline Travel Information System)和中文文学语料这两个数据集上对模型进行对比实验,并使用不同规模大小的训练数据对模型进行监督学习。实验结果表明对于NER任务,RNN的效果要好于统计概率模型,最高提升达到了39.72%,同时证明了小规模数据集能达到高识别结果的可行性。(2)将RNN模型和统计概率模型应用于协同训练,同时对RNN的激活函数进行改进,并对比了改进前后的识别效果。实验表明新激活函数一定程度上提高了NER识别精度,同时,在训练数据远小于测试数据时通过对未标记数据的迭代也能达到很好的NER识别效果。(3)针对领域NER,对(2)中的神经网络做进一步改进,通过添加额外的汇合层和采用样本迁移,从两方面来实现对相似领域数据的充分利用。此外,本文提出了两种迁移策略。实验中使用不同的相似领域和不同迁移策略对模型进行预训练从而进行对比。相似领域数据采用人民日报和搜狗新闻语料,目标领域数据为高中政治领域数据。结果表明相比改进前,本文提出的ERNN模型有了2.06%的提升(F1分数从0.9212提升到了0.9402)。
基于混合现实的汽轮机设备协同检修辅助系统
这是一篇关于混合现实,虚拟检修,协同训练,Hololens,Unity,MQTT的论文, 主要内容为汽轮机设备的健康稳定运行对于保障电力安全至关重要,定期的对汽轮机进行检修是保障其安全稳定的必要手段,对检修人员进行日常培训是提高检修质量的根本方式。传统的检修培训存在教学内容不直观、无法应用于实际检修过程、无法实际演练、检修效果差等短板,已不适应于新时代智慧电厂的建设内涵。针对上述问题,本文分析了混合现实设备和协同的相关技术基础,以某电厂的汽轮机为参照,以实际检修流程为蓝本,利用Unity引擎和MRTK开发套件,依托Hololens2和PC作为终端平台,设计开发了一套检修辅助系统,实现了多平台、多媒介、多视角、多工具的混合现实协同检修体验。本文的研究工作主要为以下几点:1、针对虚拟培训,本文提出了一种适用于多对象动画进度同步的解决方案,实现了固定相机视角和自由移动视角两种学习模式,开发了高亮、透视等辅助学习工具,最终实现了检修流程三维化,得到虚实融合的学习体验。2、针对协同训练,本文利用射线检测实现基础训练系统,设计了复合式的分布式协同架构,将MQTT协议作为协同网络。针对Holo Lens平台实现了视景同步和操作同步,保障了多人同时学习的场景和进度的一致性。为了解决多人协同的冲突性问题,设计了一种任务分发式的协同训练逻辑,并对服务端和客户端进行了具体的开发,实现了多人协同训练的功能。3、针对运维辅助,本文分别在两个平台上实现了设备模型信息的自由展示,设计了一种可配置的三维数据展示模式,实现了运维数据在虚拟平台上的展现。4、针对开发人员设计了一系列辅助工具来保证平台开发的便利性和通用性,包括建立了一种以消息机制为基础的开放式软件架构,设计开发了动画自动切片、动画状态机自动生成、自动化构建场景等工具,便于系统平台的推广和应用。目前该平台已在某发电公司投入使用,随着功能的进一步完善,将有力推动智慧电厂建设。
基于半监督深度学习的心脏分割算法研究
这是一篇关于半监督学习,心脏分割,一致性正则,伪标签学习,协同训练的论文, 主要内容为图像语义分割是计算机视觉中的一项基本识别任务。随着人工智能的发展,基于深度学习的方法在此任务上的应用日益增多并取得了较好的效果。由于深度学习方法在图像分割任务中的成功通常依赖于大量的带有像素级人工标注的训练数据,与其他视觉任务(如图像分类和目标检测)相比成本极高。尤其是对于三维医学影像而言,即使大量图像容易获取,对图像数据进行专业的标注却是一个极其耗时耗力且昂贵的过程,这使得半监督性质的分割方法成为一个值得研究的重要问题,即使用极少量的有真实标注的数据以及额外的未标注数据来训练具有良好性能的分割模型。心血管疾病是由于心脏功能异常或结构缺陷所引发的具有高发病率和死亡率的疾病,一直以来在世界范围内被广泛关注。核磁共振成像技术具有对人体无辐射损伤、可对组织实现高质量成像以及可自由选择剖面的优势,现已成为医生评估心脏结构和功能、指导诊断和生成治疗决策的重要辅助技术。对心脏的核磁共振影像(Magnetic Resonance Imaging,MRI)进行有效的语义分割是计算机辅助医疗诊断的重要前提和组织结构可视化的重要技术基础。因此,本文的主要研究工作为利用极少量的有标注数据以及大量丰富的无标注数据,通过半监督学习方法达到提升分割模型性能的目的,实现了针对心脏核磁共振影像中包括心房、心室和心室壁肌的有效分割,其内容主要有以下几个方面:(1)针对3D MRI数据的分割任务提出了一种基于双任务交叉一致性网络的心房分割算法。该方法中的网络模型以V-Net为基础架构扩展而成,通过数据增强和随机噪声所实现的数据扰动以及添加辅助解码器来实现的模型扰动操作,使得模型在特征提取能力增强的同时提升了模型整体的抗扰动能力。此外,通过分割任务和回归任务的双重训练,将一种隐式的动态几何先验知识引入模型中,从而更好的利用了大量无标注数据中的有效信息。该方法还利用了一致性正则的思想,在双解码器之间和双任务之间对预测结果使用了交叉一致性正则化方式来优化分割网络,进一步增强了模型的分割效果和泛化能力。(2)为了加强对图像全局特征的利用,高效融合了CNN(Convolutional Neural Networks,CNN)和Transformer两种不同的范式进行半监督学习,提出一种具有不确定性感知的双范式交叉指导架构用以进行更为准确的心室和室壁肌的分割。该训练架构使每个输入图像通过一个基于CNN的学生分割网络S和两个分别由CNN和Transformer构造的教师TA和教师TB网络进行同步训练及最终预测。基于均值教师架构MT(Mean Teacher,MT)的教师TA通过一致性正则约束的方式指导学生S,并且将数据和模型扰动相结合以增强模型的泛化能力;教师TB则通过伪标签学习的方法和学生S相互交叉监督来达到指导效果,使两种学习范式的优势属性在架构中得到有效融合与互补。此外,在双教师各自指导学生S的同时,进一步实现教师之间相互通信,并在训练过程中持续对预测结果进行不确定性评估筛选,使得学生模型S的分割效果具有更强的准确性和鲁棒性。(3)为了缓解2D网络模型对3D心脏MRI空间信息捕捉不足的问题,以及基于更加有效的利用大量未标注数据中的有效信息这一目的,提出了融合多视图多任务的双教师协同教学心脏分割策略。该半监督训练策略使用新颖的方式将多视图协同训练策略融入前方法中所设计的双教师指导架构中,提出了一种基于2.5D训练方式的半监督心脏分割方法,在一定程度上缓解了2D网络忽略3D图像空间信息的问题。另外,此分割策略中也有效引入了动态几何先验信息,利用各网络之间不同结构和任务的训练来为学生目标网络输送更具丰富度和准确度的知识信息,使得大量的无标签数据中的有效信息得以被更大程度的利用。该方法能够在很大程度减少时间复杂度和空间复杂度的情况下仍然持有良好的分割效果,同时适用于薄层和厚层心脏MRI数据,并且对单类别和多类别分割任务都实现了进一步的效果提升。
基于混合现实的汽轮机设备协同检修辅助系统
这是一篇关于混合现实,虚拟检修,协同训练,Hololens,Unity,MQTT的论文, 主要内容为汽轮机设备的健康稳定运行对于保障电力安全至关重要,定期的对汽轮机进行检修是保障其安全稳定的必要手段,对检修人员进行日常培训是提高检修质量的根本方式。传统的检修培训存在教学内容不直观、无法应用于实际检修过程、无法实际演练、检修效果差等短板,已不适应于新时代智慧电厂的建设内涵。针对上述问题,本文分析了混合现实设备和协同的相关技术基础,以某电厂的汽轮机为参照,以实际检修流程为蓝本,利用Unity引擎和MRTK开发套件,依托Hololens2和PC作为终端平台,设计开发了一套检修辅助系统,实现了多平台、多媒介、多视角、多工具的混合现实协同检修体验。本文的研究工作主要为以下几点:1、针对虚拟培训,本文提出了一种适用于多对象动画进度同步的解决方案,实现了固定相机视角和自由移动视角两种学习模式,开发了高亮、透视等辅助学习工具,最终实现了检修流程三维化,得到虚实融合的学习体验。2、针对协同训练,本文利用射线检测实现基础训练系统,设计了复合式的分布式协同架构,将MQTT协议作为协同网络。针对Holo Lens平台实现了视景同步和操作同步,保障了多人同时学习的场景和进度的一致性。为了解决多人协同的冲突性问题,设计了一种任务分发式的协同训练逻辑,并对服务端和客户端进行了具体的开发,实现了多人协同训练的功能。3、针对运维辅助,本文分别在两个平台上实现了设备模型信息的自由展示,设计了一种可配置的三维数据展示模式,实现了运维数据在虚拟平台上的展现。4、针对开发人员设计了一系列辅助工具来保证平台开发的便利性和通用性,包括建立了一种以消息机制为基础的开放式软件架构,设计开发了动画自动切片、动画状态机自动生成、自动化构建场景等工具,便于系统平台的推广和应用。目前该平台已在某发电公司投入使用,随着功能的进一步完善,将有力推动智慧电厂建设。
协同训练框架下联合使用文本与图片的推荐方法研究
这是一篇关于推荐系统,多视图学习,协同训练,文本,图片,神经网络的论文, 主要内容为推荐系统通过分析用户对物品的历史行为来为用户推荐其可能感兴趣的物品。在实际场景中,用户对物品的历史行为信息往往是十分稀疏的,这会严重制约推荐系统性能。为了提升推荐系统的性能,现有的很多研究将物品的评论文本、图片等各种边信息加入到推荐系统中辅助推荐,取得了一定的效果。然而,现有的解决方法大多关注单一边信息,甚少有同时利用多种边信息的整体解决方案。事实上,同时利用多种边信息可以更加全面地表示用户偏好和物品属性,进而提升推荐算法的性能。因此,本文提出了协同训练框架下联合使用文本与图片的推荐方法,其主要创新点有:(1)首次使用协同训练这一多视图学习技术来整合文本和图片两种边信息用于推荐。该方法不仅使用文本和图片来提升了推荐算法性能,还为同时使用多种边信息用于推荐提供了一种新的思路。多视图学习是利用多源信息进行学习的重要方法。使用多视图学习可以让不同视图中的互补信息得到交换进而提升模型学习性能。协同训练是一种多视图学习技术,其利用具有不同视图的基模型互相标注无标记样本来实现信息的交换。面对高维异质的文本和图像数据,本文使用深度神经网络,分别从评论文本和物品图片中提取出低维的用户和物品的特征表示。然后使用提取出的特征构造了两个分别具有文本视图和图片视图的基模型。为了使两个视图的基模型互相学习,本文使用协同训练来联合训练两个不同视图的基模型。(2)提出了一种伪标记样本的可信性验证方法,防止协同训练过程中使用不可信的伪标记样本造成模型性能衰减。在协同训练的过程中,每个视图中的基模型会标注一部分无标记样本(得到的样本称为伪标记样本),用于另一视图中基模型的迭代训练。由于模型的标注结果不一定是可信的,本文提出了一种验证方法,保证伪标记样本的可信性,避免因为使用不可信的伪标记样本造成模型性能下降。最后,经过在三个公开数据集上进行大量的实验,结果表明本文的方法好于使用单种边信息的方法,并且退化实验显示了伪标记样本可信性验证方法的有效性。实验充分证明了本文方法的有效性,显示该方法能够有效提升推荐算法的性能。
基于半监督深度学习的心脏分割算法研究
这是一篇关于半监督学习,心脏分割,一致性正则,伪标签学习,协同训练的论文, 主要内容为图像语义分割是计算机视觉中的一项基本识别任务。随着人工智能的发展,基于深度学习的方法在此任务上的应用日益增多并取得了较好的效果。由于深度学习方法在图像分割任务中的成功通常依赖于大量的带有像素级人工标注的训练数据,与其他视觉任务(如图像分类和目标检测)相比成本极高。尤其是对于三维医学影像而言,即使大量图像容易获取,对图像数据进行专业的标注却是一个极其耗时耗力且昂贵的过程,这使得半监督性质的分割方法成为一个值得研究的重要问题,即使用极少量的有真实标注的数据以及额外的未标注数据来训练具有良好性能的分割模型。心血管疾病是由于心脏功能异常或结构缺陷所引发的具有高发病率和死亡率的疾病,一直以来在世界范围内被广泛关注。核磁共振成像技术具有对人体无辐射损伤、可对组织实现高质量成像以及可自由选择剖面的优势,现已成为医生评估心脏结构和功能、指导诊断和生成治疗决策的重要辅助技术。对心脏的核磁共振影像(Magnetic Resonance Imaging,MRI)进行有效的语义分割是计算机辅助医疗诊断的重要前提和组织结构可视化的重要技术基础。因此,本文的主要研究工作为利用极少量的有标注数据以及大量丰富的无标注数据,通过半监督学习方法达到提升分割模型性能的目的,实现了针对心脏核磁共振影像中包括心房、心室和心室壁肌的有效分割,其内容主要有以下几个方面:(1)针对3D MRI数据的分割任务提出了一种基于双任务交叉一致性网络的心房分割算法。该方法中的网络模型以V-Net为基础架构扩展而成,通过数据增强和随机噪声所实现的数据扰动以及添加辅助解码器来实现的模型扰动操作,使得模型在特征提取能力增强的同时提升了模型整体的抗扰动能力。此外,通过分割任务和回归任务的双重训练,将一种隐式的动态几何先验知识引入模型中,从而更好的利用了大量无标注数据中的有效信息。该方法还利用了一致性正则的思想,在双解码器之间和双任务之间对预测结果使用了交叉一致性正则化方式来优化分割网络,进一步增强了模型的分割效果和泛化能力。(2)为了加强对图像全局特征的利用,高效融合了CNN(Convolutional Neural Networks,CNN)和Transformer两种不同的范式进行半监督学习,提出一种具有不确定性感知的双范式交叉指导架构用以进行更为准确的心室和室壁肌的分割。该训练架构使每个输入图像通过一个基于CNN的学生分割网络S和两个分别由CNN和Transformer构造的教师TA和教师TB网络进行同步训练及最终预测。基于均值教师架构MT(Mean Teacher,MT)的教师TA通过一致性正则约束的方式指导学生S,并且将数据和模型扰动相结合以增强模型的泛化能力;教师TB则通过伪标签学习的方法和学生S相互交叉监督来达到指导效果,使两种学习范式的优势属性在架构中得到有效融合与互补。此外,在双教师各自指导学生S的同时,进一步实现教师之间相互通信,并在训练过程中持续对预测结果进行不确定性评估筛选,使得学生模型S的分割效果具有更强的准确性和鲁棒性。(3)为了缓解2D网络模型对3D心脏MRI空间信息捕捉不足的问题,以及基于更加有效的利用大量未标注数据中的有效信息这一目的,提出了融合多视图多任务的双教师协同教学心脏分割策略。该半监督训练策略使用新颖的方式将多视图协同训练策略融入前方法中所设计的双教师指导架构中,提出了一种基于2.5D训练方式的半监督心脏分割方法,在一定程度上缓解了2D网络忽略3D图像空间信息的问题。另外,此分割策略中也有效引入了动态几何先验信息,利用各网络之间不同结构和任务的训练来为学生目标网络输送更具丰富度和准确度的知识信息,使得大量的无标签数据中的有效信息得以被更大程度的利用。该方法能够在很大程度减少时间复杂度和空间复杂度的情况下仍然持有良好的分割效果,同时适用于薄层和厚层心脏MRI数据,并且对单类别和多类别分割任务都实现了进一步的效果提升。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设项目助手 ,原文地址:https://m.bishedaima.com/lunwen/48776.html