基于语义信息的视频描述研究
这是一篇关于视频描述,特征交互,语义信息的论文, 主要内容为视频描述旨在对给定视频产生针对其主要内容的自然语言描述,因其在众多领域存在潜在应用价值而成为近年来的研究热点之一。本文主要聚焦语义信息在视频描述模型中的应用,分别从视觉-属性语义增强、属性语义扩展、属性语义传递三个方面展开研究,并基于研究内容开发了原型系统。本文的主要研究工作如下:(1)提出了基于视觉-属性语义增强的视频描述方法:针对现有模型解码过程中,视觉特征参与不足导致产生错误描述词汇的问题,引入了一种视觉特征和文本特征的交互融合机制,并将融合特征和属性语义特征结合,提高输入数据中的视觉信息含量。同时引入循环dropout方法缓解模型的过拟合问题。实验结果验证了该方法可以引导模型生成更加准确的词汇,缓解了过拟合情况,大幅提升了模型性能。(2)提出了基于属性语义扩展的视频描述方法:针对现有模型使用的属性语义范围较小,对视频属性覆盖不足的问题,借助知识图谱引入外部知识,筛选现有属性语义词的高关联度关联词来扩充属性语义范围。同时,通过改进视觉特征融合方法获得更高质量的属性语义特征。实验结果验证了所提方法可以使得模型在解码过程中参考到更大范围的属性语义信息,大幅提升了描述语句的多样性和模型性能。(3)构建了基于属性语义传递方法的视频描述原型系统:该方法利用属性语义词之间关联性的传递性,以现有属性语义词的高关联度关联词为基准,获取它们的高关联度关联词,进一步扩大属性语义覆盖范围。实验结果验证了该方法可以引入更多的属性语义词,进一步提升了模型性能。基于该方法搭建的视频描述原型系统允许用户上传视频并对其解析后展示解析结果,验证了方法的有效性和实用性。综上,论文探索了提高解码器输入数据中的视觉信息含量和引入更多属性语义词对视频描述模型的影响,在常用数据集上的大量实验验证了所提方法可以提升模型性能和描述语句的多样性。
基于深度学习的新视图合成关键技术研究
这是一篇关于新视图合成,注意力机制,扩张卷积,语义信息,上下文信息,图像增强的论文, 主要内容为新视图合成是计算机视觉和图形学中的一个重要问题,旨在从单个或多个视图中提取有用的信息,并将其转换为一个新的视图的过程。人们可以很容易地对不同的角度的场景或物体产生想象,然而,对于计算机视觉系统来说,这仍然是一项具有挑战性的任务。一方面,计算机视觉系统需要对图像进行全面理解,即理解图像的3D结构及语义信息。另一方面,视图之间的映射需要依赖于场景的3D几何和视图之间的位姿。在完成这两方面的过程中,视图之间的信息传播造成细节信息的丢失,视野受限或者遮挡造成的空洞问题亟需解决。因此,如何提升新视图合成模型的性能是本文的主要研究目标。(1)针对图像传统编解码过程中存在的信息丢失,使得新视图合成过程存在边缘模糊的现象的问题,本文设计一种基于自编码器的单目图像新视图合成网络模型(AENVS)。首先,该模型采用了扩张卷积和注意力机制结合的特征提取模块对图像编码器进行改进,多个特征提取块的联合使用以层次递进的方式进行特征增强,并且对输入图像增大感受野的同时,捕获了全局的上下文信息,其中注意力机制的引用可以对图像编码器提取的中间特征进行筛选和优化,以获取更有价值的特征信息,有助于神经网络捕获精准细致的结构信息,从而有效提升了图像编码器的性能。其次,该模型将空间注意力上采样模块(SAU)引入解码器中,通过关注从图像编码器传递来的特征图中的重要信息,提高了像素之间的联系,从而更好的提取远距离的图像内容,并有效的处理了源视图和目标视图之间像素位置的变化。最后,在Shape Net与Kitti数据集上对模型进行训练和测试,并与该领域的基线方法进行对比,对比实验验证了模型具有较好的性能,消融实验验证了特征提取模块的有效性。(2)针对图像本身存在自遮挡现象或者深度信息映射错误时,不能充分利用源视图中的有效特征信息,导致新视图内容产生缺失的问题,本文设计基于上下文信息的二阶段新视图合成优化网络模型(TS-NVS),第一阶段粗新视图合成网络首先对图像进行一个初步的预测以稳定训练过程,同时为第二阶段精新视图合成网络提供图像结构的先验信息。第二阶段精新视图合成网络是基于UNet的新视图优化网络,首先,基于图像内部不同部分之间的语义联系,引入语义信息提取模块,计算相邻特征块之间的相似性和不同语义特征之间的重要程度,来实现对特征图中的局部结构信息、纹理信息、颜色信息等语义信息的提取。其次,基于图像中不同部分之间的关系和联系,引入上下文信息融合模块,使用残差连接及扩张卷积的思想,来提取上下文信息,实现对图像整体的学习。然后,利用多尺度重建损失与语义约束损失的双重损失进一步优化网络的性能。最后,在Shape Net与Kitti数据集上对模型进行训练和测试,并该领域基线方法进行对比,验证了模型的性能。(3)针对本文设计的AE-NVS与TS-NVS模型合成的新视图因低光照造成模糊的现象,提出了一种低光照图像增强算法,将RGB灰度图像进行曝光处理,将处理后的曝光值作为权重与源图像进行融合,得到具有较高的质量和清晰度的图像,该技术可以增强图像的细节和纹理,使其更加适合于人眼观察。(4)基于本文的模型和算法,设计了一套新视图合成可视化系统,来验证本文所设计的新视图合成模型的有效性。该系统采用B/S架构的设计方式,实现了新视图合成的示范应用。首先,本系统使用本文提出的新视图合成模型合成了新视图,并对新视图合成的过程进行可视化展示。其次,利用本文提出低光照图像增强算法对视图进行增强,并对新视图合成的过程进行了可视化展示。
基于深度学习的新视图合成关键技术研究
这是一篇关于新视图合成,注意力机制,扩张卷积,语义信息,上下文信息,图像增强的论文, 主要内容为新视图合成是计算机视觉和图形学中的一个重要问题,旨在从单个或多个视图中提取有用的信息,并将其转换为一个新的视图的过程。人们可以很容易地对不同的角度的场景或物体产生想象,然而,对于计算机视觉系统来说,这仍然是一项具有挑战性的任务。一方面,计算机视觉系统需要对图像进行全面理解,即理解图像的3D结构及语义信息。另一方面,视图之间的映射需要依赖于场景的3D几何和视图之间的位姿。在完成这两方面的过程中,视图之间的信息传播造成细节信息的丢失,视野受限或者遮挡造成的空洞问题亟需解决。因此,如何提升新视图合成模型的性能是本文的主要研究目标。(1)针对图像传统编解码过程中存在的信息丢失,使得新视图合成过程存在边缘模糊的现象的问题,本文设计一种基于自编码器的单目图像新视图合成网络模型(AENVS)。首先,该模型采用了扩张卷积和注意力机制结合的特征提取模块对图像编码器进行改进,多个特征提取块的联合使用以层次递进的方式进行特征增强,并且对输入图像增大感受野的同时,捕获了全局的上下文信息,其中注意力机制的引用可以对图像编码器提取的中间特征进行筛选和优化,以获取更有价值的特征信息,有助于神经网络捕获精准细致的结构信息,从而有效提升了图像编码器的性能。其次,该模型将空间注意力上采样模块(SAU)引入解码器中,通过关注从图像编码器传递来的特征图中的重要信息,提高了像素之间的联系,从而更好的提取远距离的图像内容,并有效的处理了源视图和目标视图之间像素位置的变化。最后,在Shape Net与Kitti数据集上对模型进行训练和测试,并与该领域的基线方法进行对比,对比实验验证了模型具有较好的性能,消融实验验证了特征提取模块的有效性。(2)针对图像本身存在自遮挡现象或者深度信息映射错误时,不能充分利用源视图中的有效特征信息,导致新视图内容产生缺失的问题,本文设计基于上下文信息的二阶段新视图合成优化网络模型(TS-NVS),第一阶段粗新视图合成网络首先对图像进行一个初步的预测以稳定训练过程,同时为第二阶段精新视图合成网络提供图像结构的先验信息。第二阶段精新视图合成网络是基于UNet的新视图优化网络,首先,基于图像内部不同部分之间的语义联系,引入语义信息提取模块,计算相邻特征块之间的相似性和不同语义特征之间的重要程度,来实现对特征图中的局部结构信息、纹理信息、颜色信息等语义信息的提取。其次,基于图像中不同部分之间的关系和联系,引入上下文信息融合模块,使用残差连接及扩张卷积的思想,来提取上下文信息,实现对图像整体的学习。然后,利用多尺度重建损失与语义约束损失的双重损失进一步优化网络的性能。最后,在Shape Net与Kitti数据集上对模型进行训练和测试,并该领域基线方法进行对比,验证了模型的性能。(3)针对本文设计的AE-NVS与TS-NVS模型合成的新视图因低光照造成模糊的现象,提出了一种低光照图像增强算法,将RGB灰度图像进行曝光处理,将处理后的曝光值作为权重与源图像进行融合,得到具有较高的质量和清晰度的图像,该技术可以增强图像的细节和纹理,使其更加适合于人眼观察。(4)基于本文的模型和算法,设计了一套新视图合成可视化系统,来验证本文所设计的新视图合成模型的有效性。该系统采用B/S架构的设计方式,实现了新视图合成的示范应用。首先,本系统使用本文提出的新视图合成模型合成了新视图,并对新视图合成的过程进行可视化展示。其次,利用本文提出低光照图像增强算法对视图进行增强,并对新视图合成的过程进行了可视化展示。
基于深度学习的图像高级语义描述算法的研究与实现
这是一篇关于视觉特征,语义信息,自然语言描述,注意力机制的论文, 主要内容为随着网络信息技术的协同式发展,网络及社交媒体上每时每刻都涌现出大量的图像及文本数据。其中,图像作为一种重要的信息承载媒介,往往呈现出数据量大、内容多且覆盖广等诸多特点。面对网络中海量且持续的视觉信息,单靠人工标注工作量大、成本高、差异多,且不利于提升图片分类及索引的效率。图像生成描述系统允许用户输入图像,并自动返回与之内容匹配的自然语言描述。该模式有助于节约时间和人力成本,实现机器对图像视觉信息的自动理解,既可以解决图片引擎的效率和性能问题,还可以维护网络环境的安全。随着深度学习的发展,图像生成描述技术近年来已经取得了不错的进展。但是,现存的描述方法仍存在着诸如准确性、细节性、多样性不足等一系列“语义鸿沟”问题,这意味该研究还存在着巨大的提升空间。本文致力于研究提升描述网络的性能和生成语句描述的质量,针对自动文本描述现存的问题,做出了以下研究成果:(1)针对图像生成描述语义信息偏差的问题,本文提出了一种基于残差注意力机制和有序记忆模块融合的描述算法。高效提取关键的视觉特征,充分利用有序记忆模块学习到语句的层级信息。实验表明,该融合算法可以有效地提升描述内容的语义准确性,并生成更加准确且富有层次感的描述;(2)针对图像描述高级语义细节缺失的问题,本文提出了一种基于知识图谱的视觉关系描述算法。生动呈现图像实体的视觉关系网络,深入挖掘实体间的视觉关系,用以丰富描述的语义细节。实验表明,该算法可以有效地增强描述细节的语义完整性,生成更加全面且贴近自然语言的文本描述;(3)基于上述研究,本文提出了一个基于深度学习的图像高级语义描述算法,来解决上述高级语义偏差和缺失的问题。结合深度学习中的诸多先进机制,融合上述两种算法,优化和改进图像描述技术。旨在跨越“语义鸿沟”,实现自动化地高质量图像描述生成。本文在大型数据集上评估并验证了所提出的算法,最终实验表明,该算法能够生成准确全面、层次丰富、流畅自然的语言描述。
基于弱监督和注意机制神经网络的生物实体关系抽取研究
这是一篇关于关系抽取,深度学习,神经网络,注意机制,语义信息的论文, 主要内容为关系抽取是自然语言处理(Nature Language Processing,NLP)任务的一个重要分支,关系抽取任务的主要内容是获取语料中目标实体间的关系信息,其实是一个多分类的过程。关系抽取在“知识图谱构建”、“问答系统”等任务中都有很广泛的应用。关系抽取任务早期使用“条件随机场”等传统方法比较多,但面对日益复杂的数据结构和海量的待处理数据,传统方法逐渐无法达到期望的效果。近年来,随着深度学习技术的发展,使用卷积神经网络、循环神经网络等进行关系抽取任务可以获取更多的语料信息,抽取结果也更加准确。与此同时,关系抽取在生物医学实体中的应用也越来越广泛。生物知识库的构建、医学数据的整理都离不开关系抽取。在关系抽取任务中,存在着处理的过程中对目标词的集中度不够,对词的语义信息缺乏利用等问题。同时鉴于生物医学实体的特殊性,需要对网络模型进行针对性的调整。本文设计了两个关系抽取模型:(1)针对长文本上下文信息容易丢失的问题和语料中不同句子以及句中不同词对实体关系抽取结果影响不同的情况,提出了多重注意机制门控循环单元模型(Multiple Attention GRU,MAGRU)。模型以双向长短期记忆网络(Long Short-Term Memory,LSTM)的变型门控循环单元(Gated Recurrent Unit,GRU)为基础,并在此基础上分别在对词和句子进行处理的时候增加注意机制,形成多重注意机制GRU模型。同时考虑到生物医学文本的特殊性,通过调整模型的注意机制来适应生物医学实体关系抽取的要求。使用模型分别在传统数据集和生物医学数据集上与现有效果较好的方法进行对比实验,实验结果表明,MAGRU模型比现有模型F值有至少1%的优势。(2)针对关系抽取任务对语料中的语义信息利用不足,尤其是生物医学文本中语义信息对关系抽取效果影响更大的情况,本文在多重注意机制模型(MAGRU)的基础上引入词的命名体信息和词性信息等其他语义信息作为输入数据的补充,同时在生物医学文本关系抽取实验中增加具有生物医学背景的语义信息,并结合注意机制进行调整。本文使用模型分别在传统数据集和生物医学数据集上进行与现有效果较好的方法以及无语义信息的MAGRU模型进行对比实验,实验结果表明,引入语义信息的MAGRU模型比其他模型在F值上有3%左右的提升。
用户导向的本体摘要算法研究
这是一篇关于知识图谱,本体摘要,关系约束,本体映射,本体消冗,语义信息的论文, 主要内容为本体作为知识图谱的上层结构,在知识推理、知识问答等方面有着广泛的应用。快速准确地构建本体是完成上述应用任务的前提,而本体重用则是构建本体过程中最常用的技术手段之一。相比于直接构建新的本体,重用已有本体不仅能加快本体构造的速度,提升本体的准确性,还能减小本体构建的成本。然而,知识数据量的指数增长造成了本体规模的不断膨胀,使得人类对本体的理解变得愈加困难,因而阻碍了本体的重用。在此背景下,本体摘要技术应运而生,它是生成原本体缩略版本的一种方式,对快速理解大规模本体、促进本体重用有着重要的意义。根据目的分为面向用户和面向任务两类。鉴于面向用户的方法研究成果多、应用范围广,本文研究面向用户的本体摘要方法。现有用户导向的本体摘要方法包含本体映射和摘要抽取两个步骤。在本体映射阶段,算法将本体文件映射为复杂网络,从而利用复杂网络中的各项参数对本体网络结构进行初步研究;在摘要抽取阶段,算法利用本体网络的结构特性和本体中的语义信息,对本体中的概念和关系进行重要性评估,从而选取重要概念和连接重要概念的路径。现有摘要算法虽然取得了一定进展,但仍存在以下不足:1)现有方法在将本体映射到复杂网络的过程中,往往仅保留本体中的显式结构信息,而关系约束作为关系的一种属性,不应被忽视。2)本体中存在的冗余关系对本体结构分析和摘要抽取有负面影响,而现有本体摘要方法在摘要前没有去除本体中的冗余。3)现有本体摘要方法对本体中的语义信息利用不足,使本体摘要的准确率受限。本文针对上述问题展开研究,具体研究内容及成果概括如下:(1)提出了一种保留本体中关系约束的本体映射方法。将本体中的概念和实体看作节点,概念和实体之间的关系看作边,构造一个有向图。在转化过程中,首先去除本体中与结构无关的信息,然后对本体中的匿名节点进行归并,从而更精简地表示本体中的关系约束。将算法在不同规模的本体中进行定性定量分析,结果表明,本文提出的映射方法有助于本体结构特性的分析和直观展示。(2)提出了一种基于超节点理论的本体关系消冗算法。算法将(1)中映射后的本体网络作为输入数据。首先,将相互等价的节点转化为超节点,将本体网络转化为有向无环图,进而消除单一类属关系之间的冗余;然后还原等价节点,通过向量扫描检测消除等价关系与类属关系之间的冗余;最后将超节点进行还原,输出消冗后的网络。将算法应用于真实本体网络和人工合成网络,结果表明,所提算法能够有效检测并消除本体中的冗余关系。(3)提出了一种融合语义信息的本体摘要算法。算法将(2)中消冗后的本体网络作为输入数据。首先,利用本体中概念标签蕴含的语义信息,将概念转化为向量,并融合结构信息计算向量间的距离;然后利用聚类的思想选取概念节点中的中心节点作为重要概念;最后,根据本体中概念与关系的特性,选取连接重要概念的路径,形成原本体对应的摘要本体。将算法应用于真实本体,并分别从输出重要概念和输出子本体的角度进行评估,结果表明,本文所提算法的准确性较其他对比算法更好。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码助手 ，原文地址：https://m.bishedaima.com/lunwen/48650.html
