基于CycleGAN与GNN的多模态医学图像融合方法研究
这是一篇关于多模态,医学图像融合,模态合成,图像增强,弱监督,图神经网络的论文, 主要内容为随着医学成像的不断发展,医学图像成为了疾病诊断的有效工具,且不同模态的医学图像均有其优点与局限性。例如,计算机断层扫描(CT)图像能良好地展示骨骼信息,但对软组织等结构信息的表征不够清晰;磁共振(MR)图像能清晰地展示软组织信息,但对骨骼信息的表征具有一定缺陷;正电子发射断层扫描(PET)图像可为临床诊断提供丰富的人体代谢信息,但图像分辨率较低。因此,将多种模态的图像信息整合到一个图像中,实现多模态图像融合,以达到优势互补。多模态融合图像既保留了源图像特征,同时又弥补了单模态医学图像的缺陷,为临床诊断治疗提供了有效的依据。通过研究多模态医学图像融合及深度学习理论,对现有图像融合方法存在的问题进行分析及改进,内容如下:针对现有多模态图像融合方法均以多种模态作为输入需要患者多次成像,对人体伤害和花费大、图像融合需配准大量成对数据集,时间长、难度大以及融合图像纹理及精细结构不够清晰的问题,提出了一种基于Cycle GAN与Octopus Net的模态合成与增强的弱监督医学图像融合方法。在模态合成中,采用弱监督方法训练模型以减少对配准图像的需求,MR图像作为输入通过训练好的深层-结构和浅层-细节生成器合成CT图像,以减少所需输入模态数量,使纹理和结构更加清晰。在图像增强中,MR图像通过训练好的生成器生成对纹理与结构增强的增强MR图像。而后通过合成的CT图像和增强的MR图像与原始PET图像一起作为输入,实现三模态图像融合。与13种当前先进的模态合成和图像融合方法在相同数据集上进行对比,所提出的方法在7个客观评价指标上的性能均得到了显著提高。该方法在主观视觉效果和客观评价指标上都优于所比较的图像融合方法。针对现有多模态医学图像融合方法获得的融合图像存在语义丢失问题,为了使融合图像保留更加丰富的语义信息,提出了基于CDDFuse与GNN的多模态医学图像融合方法。该方法以基于相关性驱动的双分支特征分解多模态图像融合网络(Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion,CDDFuse)的双分支编码-解码网络框架为基础,通过图神经网络(Graph Neural Network,GNN)双分支语义编码器、融合层与解码器,分两阶段训练模型以获得多模态融合图像。其中,GNN双分支语义编码器内含GNN整体语义编码器、GNN病灶语义编码器及共享编码器。GNN整体语义编码器利用图神经网络的关系建模能力捕获图像上下文语义,提取更加丰富的图像整体语义信息;GNN病灶语义编码器利用图神经网络的关系建模能力及病灶区域识别能力,增强病灶区域语义信息;共享编码器精细化图像全局信息。与6种当前先进的图像融合方法在相同数据集上进行对比,所提出的方法在4个客观评价指标上的性能均得到了显著提高。针对本文提出的两种图像融合改进方法,开发了基于前端VUE框架的多模态医学图像融合系统。该系统包含登录、基于Cycle GAN与Octopus Net的模态合成与增强的弱监督医学图像融合、基于CDDFuse及GNN的多模态医学图像融合三大模块。其中,在首页展示该多模态医学图像融合系统的整体结构及图像融合方法概述;基于Cycle GAN与Octopus Net的模态合成与增强的弱监督医学图像融合模块与基于CDDFuse与GNN的多模态医学图像融合模块均实现了在相同源图像下与不同对比方法的多模态医学图像融合,并针对各个方法的图像融合结果进行评价指标计算及比较。该系统旨在通过主观视觉与客观评价指标值比较并选择出高质量图像融合结果,为临床诊断提供帮助。
基于在线百科的弱监督命名实体识别技术研究与实现
这是一篇关于命名实体识别,弱监督,主动学习,众包,数据增强的论文, 主要内容为命名实体识别(Name Entity Recognition,NER)旨在识别自然文本中具有明确意义的实体,主要包括地点、人物和组织机构等类别。它是自然语言处理的基本任务之一,也是信息检索、问答系统和知识图谱构建等主流应用的前提基础。近年来,随着深度学习技术的发展以及数据的爆炸式增长,使用深度神经网络进行命名实体识别的方法达到了很好的效果,并逐渐成为主流。然而,大多数深度学习模型是数据驱动的有监督模型,需要大量人工标注的数据,成本极高。因此,研究如何减少命名实体识别标注语料的获取代价,具有重要的实用意义。弱监督是一种适用于含有少量标注数据或者标注数据含有噪声的场景下的学习方法。不少研究者尝试将弱监督的方法应用于实体识别,但是现有的弱监督实体识别方法依旧存在一些不足,比如众包只关注数据质量,主动学习的选择策略不佳等。针对这些不足,本文研究并实现了基于在线百科的弱监督命名实体识别方法,具体如下:(1)本文提出了一种主动学习与众包相结合的实体识别方法。在基本不降低实体识别模型效果的前提下,有效减少了标注语料的数量,降低了标注成本。(2)本文借助维基百科的数据生成实体识别语料。首先,训练了一个对维基百科页面进行分类的实体类别分类器。接着,将含有内链的文本对应的维基页面分类到相应的实体类别并转换为实体识别语料。(3)本文提出了一种结合数据增强和自学的弱监督实体识别方法。首先,对原有的少量实体识别语料进行数据增强,得到扩充后的训练集,在这个扩充后的训练集训练模型。然后,在对模型应用自学习的方法,进一步改进模型效果。该方法有效地缓解了模型训练数据不足的问题,具有实际的应用价值。我们在多个真实数据集上进行了实验对比。结果表明,本文提出的弱监督学习方法可以明显地降低实体识别模型所需要的标注语料数量,本文提出的数据增强方法可以有效地扩充语料的数据规模。
基于在线百科的弱监督命名实体识别技术研究与实现
这是一篇关于命名实体识别,弱监督,主动学习,众包,数据增强的论文, 主要内容为命名实体识别(Name Entity Recognition,NER)旨在识别自然文本中具有明确意义的实体,主要包括地点、人物和组织机构等类别。它是自然语言处理的基本任务之一,也是信息检索、问答系统和知识图谱构建等主流应用的前提基础。近年来,随着深度学习技术的发展以及数据的爆炸式增长,使用深度神经网络进行命名实体识别的方法达到了很好的效果,并逐渐成为主流。然而,大多数深度学习模型是数据驱动的有监督模型,需要大量人工标注的数据,成本极高。因此,研究如何减少命名实体识别标注语料的获取代价,具有重要的实用意义。弱监督是一种适用于含有少量标注数据或者标注数据含有噪声的场景下的学习方法。不少研究者尝试将弱监督的方法应用于实体识别,但是现有的弱监督实体识别方法依旧存在一些不足,比如众包只关注数据质量,主动学习的选择策略不佳等。针对这些不足,本文研究并实现了基于在线百科的弱监督命名实体识别方法,具体如下:(1)本文提出了一种主动学习与众包相结合的实体识别方法。在基本不降低实体识别模型效果的前提下,有效减少了标注语料的数量,降低了标注成本。(2)本文借助维基百科的数据生成实体识别语料。首先,训练了一个对维基百科页面进行分类的实体类别分类器。接着,将含有内链的文本对应的维基页面分类到相应的实体类别并转换为实体识别语料。(3)本文提出了一种结合数据增强和自学的弱监督实体识别方法。首先,对原有的少量实体识别语料进行数据增强,得到扩充后的训练集,在这个扩充后的训练集训练模型。然后,在对模型应用自学习的方法,进一步改进模型效果。该方法有效地缓解了模型训练数据不足的问题,具有实际的应用价值。我们在多个真实数据集上进行了实验对比。结果表明,本文提出的弱监督学习方法可以明显地降低实体识别模型所需要的标注语料数量,本文提出的数据增强方法可以有效地扩充语料的数据规模。
基于预训练语言模型的实体识别及其优化方法研究
这是一篇关于命名实体识别,预训练语言模型,弱监督,遗传算法的论文, 主要内容为知识图谱是一种用来描述现实世界实体之间相互关系的知识库,其已在搜索、推荐和问答领域得到广泛的应用。大规模的知识图谱难以完全依靠人工构建,因此自动化的构建知识图谱成为了研究的热点问题,其中命名实体识别是构建知识图谱的基础任务之一。目前,基于Transformer的预训练语言模型在解决命名实体识别任务上得到广泛的应用,但这类方法通常需要高质量的标记数据进行微调,难以在无监督或弱监督的情况下实现较好的命名实体识别效果;同时,针对命名实体识别任务,对哪些参数进行微调难以通过人工确定。本文针对上述问题开展了基于预训练语言模型的命名实体识别及其优化研究,主要工作如下:(1)针对弱监督下命名实体识别任务中不完全监督和不准确监督问题,本文提出了一种结合对抗训练的弱监督命名实体识别方法。本方法通过引入多种标记函数,并对其标记结果进行聚合,改善弱监督情况下的不完全监督问题;同时,在利用聚合的标记结果和预训练语言模型进行训练时,加入了对抗训练的策略,改善弱监督情况下的不准确监督问题。通过在两个真实世界的数据集上进行实验,验证了方法在弱监督情况下的命名实体识别任务的有效性。(2)在基于预训练语言模型的命名实体识别任务中,针对如何自动搜索较优微调方式的问题,本文提出了结合遗传算法的命名实体识别微调方式搜索方法。本方法通过引入遗传算法对预训练语言模型的微调方式进行搜索,使得模型能够搜索到更优的微调方式;同时引入先验知识与互斥机制,减少冗余的搜索与训练,加快遗传算法的搜索速度。通过在两个真实世界的数据集上进行实验,验证了本方法在命名实体识别任务上能够达到更好的微调效果。
基于CycleGAN与GNN的多模态医学图像融合方法研究
这是一篇关于多模态,医学图像融合,模态合成,图像增强,弱监督,图神经网络的论文, 主要内容为随着医学成像的不断发展,医学图像成为了疾病诊断的有效工具,且不同模态的医学图像均有其优点与局限性。例如,计算机断层扫描(CT)图像能良好地展示骨骼信息,但对软组织等结构信息的表征不够清晰;磁共振(MR)图像能清晰地展示软组织信息,但对骨骼信息的表征具有一定缺陷;正电子发射断层扫描(PET)图像可为临床诊断提供丰富的人体代谢信息,但图像分辨率较低。因此,将多种模态的图像信息整合到一个图像中,实现多模态图像融合,以达到优势互补。多模态融合图像既保留了源图像特征,同时又弥补了单模态医学图像的缺陷,为临床诊断治疗提供了有效的依据。通过研究多模态医学图像融合及深度学习理论,对现有图像融合方法存在的问题进行分析及改进,内容如下:针对现有多模态图像融合方法均以多种模态作为输入需要患者多次成像,对人体伤害和花费大、图像融合需配准大量成对数据集,时间长、难度大以及融合图像纹理及精细结构不够清晰的问题,提出了一种基于Cycle GAN与Octopus Net的模态合成与增强的弱监督医学图像融合方法。在模态合成中,采用弱监督方法训练模型以减少对配准图像的需求,MR图像作为输入通过训练好的深层-结构和浅层-细节生成器合成CT图像,以减少所需输入模态数量,使纹理和结构更加清晰。在图像增强中,MR图像通过训练好的生成器生成对纹理与结构增强的增强MR图像。而后通过合成的CT图像和增强的MR图像与原始PET图像一起作为输入,实现三模态图像融合。与13种当前先进的模态合成和图像融合方法在相同数据集上进行对比,所提出的方法在7个客观评价指标上的性能均得到了显著提高。该方法在主观视觉效果和客观评价指标上都优于所比较的图像融合方法。针对现有多模态医学图像融合方法获得的融合图像存在语义丢失问题,为了使融合图像保留更加丰富的语义信息,提出了基于CDDFuse与GNN的多模态医学图像融合方法。该方法以基于相关性驱动的双分支特征分解多模态图像融合网络(Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion,CDDFuse)的双分支编码-解码网络框架为基础,通过图神经网络(Graph Neural Network,GNN)双分支语义编码器、融合层与解码器,分两阶段训练模型以获得多模态融合图像。其中,GNN双分支语义编码器内含GNN整体语义编码器、GNN病灶语义编码器及共享编码器。GNN整体语义编码器利用图神经网络的关系建模能力捕获图像上下文语义,提取更加丰富的图像整体语义信息;GNN病灶语义编码器利用图神经网络的关系建模能力及病灶区域识别能力,增强病灶区域语义信息;共享编码器精细化图像全局信息。与6种当前先进的图像融合方法在相同数据集上进行对比,所提出的方法在4个客观评价指标上的性能均得到了显著提高。针对本文提出的两种图像融合改进方法,开发了基于前端VUE框架的多模态医学图像融合系统。该系统包含登录、基于Cycle GAN与Octopus Net的模态合成与增强的弱监督医学图像融合、基于CDDFuse及GNN的多模态医学图像融合三大模块。其中,在首页展示该多模态医学图像融合系统的整体结构及图像融合方法概述;基于Cycle GAN与Octopus Net的模态合成与增强的弱监督医学图像融合模块与基于CDDFuse与GNN的多模态医学图像融合模块均实现了在相同源图像下与不同对比方法的多模态医学图像融合,并针对各个方法的图像融合结果进行评价指标计算及比较。该系统旨在通过主观视觉与客观评价指标值比较并选择出高质量图像融合结果,为临床诊断提供帮助。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码工厂 ，原文地址：https://m.bishedaima.com/lunwen/50097.html
