基于外部知识和语义理解的视觉问答关键算法研究
这是一篇关于视觉问答,知识图谱,语义理解,知识表示和推理,图神经网络,跨模态融合的论文, 主要内容为视觉问答(VQA)是一个多学科的研究课题,它将计算机视觉、知识表示与推理、自然语言处理等AI领域结合,以正确使用关于现实世界中基本事物或物理现象的常识或知识为目标,努力让深度学习算法在与人类交流时的表现与人类内部之间进行相互交流时一致。具有外部知识的视觉问答任务需要视觉内容和外部知识相互验证来回答有关图像的问题。目前已有的VQA解决方案所面临的问题是,为了降低VQA算法在进行跨模态推理时存在的噪声及难度,它们要求在任务所提供的照片中、在问题及知识图谱上确定任务的相关信息,并需要将信息恰当地融合嵌入到所识别出的各种模态中。但这种对不同模态间信息的合理融合和共同推理,从而发现有关的证据,由此正确地预测出题目的答案,这一过程还值得深入研究。本文提出了一种结合预训练语言模型和知识图谱的双模态图神经网络算法(BIGNN-LM-KG)。研究人员分别通过图像和问题概念构建概念图。在构建概念图时,文章内使用了预训练的语言模型(LM)和知识图谱(KG),从LM中获取隐式知识,从KG中获取显式知识,并结合LM与KG的组合推理优势来对VQA算法进行改进。具体来说,使用KG来联合推断图像和问题中的实体概念,以构建概念图;使用LM计算概念知识图中节点和路径之间的相关性得分,以筛选概念图的节点和路径。然后,本文以经过筛选的图像实体的视觉和空间特征形成视觉图。本文针对已经构建的视觉图和概念图针对性地改进了图神经网络(GNN)来更好地学习两个图的表示,并通过模态融合GNN融合两个不同模态图中的信息,以预测可能性最高的答案。在VQA任务中以知识图谱为基础构建的公共数据集上,本文研究改进的VQA算法获得了良好的实验结果,并且本文也验证了算法中每个组件的有效性和算法的可解释性。
面向汽车领域的垂直人机对话系统研究与实现
这是一篇关于垂直人机对话系统,语义理解,文本生成,汽车领域的论文, 主要内容为随着线上服务的繁荣发展,垂直领域的人机对话系统越来越多,它们背后都需要领域知识作为支撑。然而在汽车领域缺少成熟的知识库和对话系统,本文对垂直人机对话系统中语义理解和对话文本生成两个阶段所用的模型进行研究与改进,并在此基础上构建了一个面向汽车领域的垂直人机对话系统,主要研究内容如下:1)针对对话文本规范性差、专有领域数据集少的问题,本文在语义理解阶段使用BERT模型作为词嵌入构建训练模型。语义理解包含意图识别和槽位填充两个任务。本文提出了 BERT-CNN模型进行意图识别,并对不同的预训练模型进行了充分的实验对比,实验结果证明Mac-BERT-CNN的表现最好,达到了 88.36%的准确率。在槽位填充任务中,本文提出了 BERT-Bigram-BiLSTM-CRF模型。该模型学习文本上下文信息并进行过滤,在输出时加强了序列标注的限制,使其在entity-f1上有所提升,更适用于对话系统。2)为平衡对话文本生成的准确性与多样性,本文提出了Attention-PHVM模型。PHVM模型可以生成多样化的文本,但该模型的准确性较差。考虑到汽车领域的人机对话系统对准确性要求更高,本文引入了 attention机制,用于增强输入的语义信息。经实验比较,该模型在多个指标上有所提升,综合来看适用于该对话系统。3)结合上述两个阶段研究,本文构建了汽车领域的垂直人机对话系统,使用存储于Apache Jena的知识图谱作为数据库。用户可以使用文本咨询汽车相关信息,系统将识别用户语义并检索图谱信息,根据该信息生成多样且准确的回复返回用户。
基于外部知识和语义理解的视觉问答关键算法研究
这是一篇关于视觉问答,知识图谱,语义理解,知识表示和推理,图神经网络,跨模态融合的论文, 主要内容为视觉问答(VQA)是一个多学科的研究课题,它将计算机视觉、知识表示与推理、自然语言处理等AI领域结合,以正确使用关于现实世界中基本事物或物理现象的常识或知识为目标,努力让深度学习算法在与人类交流时的表现与人类内部之间进行相互交流时一致。具有外部知识的视觉问答任务需要视觉内容和外部知识相互验证来回答有关图像的问题。目前已有的VQA解决方案所面临的问题是,为了降低VQA算法在进行跨模态推理时存在的噪声及难度,它们要求在任务所提供的照片中、在问题及知识图谱上确定任务的相关信息,并需要将信息恰当地融合嵌入到所识别出的各种模态中。但这种对不同模态间信息的合理融合和共同推理,从而发现有关的证据,由此正确地预测出题目的答案,这一过程还值得深入研究。本文提出了一种结合预训练语言模型和知识图谱的双模态图神经网络算法(BIGNN-LM-KG)。研究人员分别通过图像和问题概念构建概念图。在构建概念图时,文章内使用了预训练的语言模型(LM)和知识图谱(KG),从LM中获取隐式知识,从KG中获取显式知识,并结合LM与KG的组合推理优势来对VQA算法进行改进。具体来说,使用KG来联合推断图像和问题中的实体概念,以构建概念图;使用LM计算概念知识图中节点和路径之间的相关性得分,以筛选概念图的节点和路径。然后,本文以经过筛选的图像实体的视觉和空间特征形成视觉图。本文针对已经构建的视觉图和概念图针对性地改进了图神经网络(GNN)来更好地学习两个图的表示,并通过模态融合GNN融合两个不同模态图中的信息,以预测可能性最高的答案。在VQA任务中以知识图谱为基础构建的公共数据集上,本文研究改进的VQA算法获得了良好的实验结果,并且本文也验证了算法中每个组件的有效性和算法的可解释性。
面向医疗语义理解的结构化处理方法的研究与实现
这是一篇关于自然语言处理,语义理解,神经网络模型,文本分类,文本结构化的论文, 主要内容为随着人工智能热潮的掀起,人工智能在医疗健康领域的应用场景也越来越丰富,人工智能技术影响着医疗行业的发展。在一些检查中,医生双手无法离开检查设备,亟需引入智能化的语音交互医疗产品来协助工作,提升工作效率。在智能化语音助手中语义理解引擎起着核心作用,医疗语义理解的含义是帮助语音助手进行理解医生的意图、提取医生说话内容的关键信息,并对获取的文本信息进行结构化处理,最终生成电子病历。蓬勃发展的背后,人工智能在医疗领域的应用和推广也面临着诸多问题和挑战。目前针对中文自然语言的医疗文本结构化处理方法采用的方案是存在较多的弊端:灵活性不足、无法实现各种业务的定制化、容易丢失重要病历信息等等。针对以上存在的问题,本文主要从以下几个方面开展工作:本文基于科大讯飞有限公司智慧医疗内核部门“面向医疗语义理解引擎”项目,对语音转写文本进行结构化处理的研究。本文通过对语音转写文本数据以及需求进行深入的分析,给出了一个“规则+命名实体识别+知识库+分类”一体化的医疗文本结构化处理方案。首先,针对目前传统信息提取技术应用于本课题中效果较差的问题,本文给出了一种基于规则和命名实体识别融合的信息抽取处理方法,该方法进行NLP(Natural Language Processing,自然语言处理)文法解析和命名实体识别的提取,并保留提取信息的并集。其次,针对传统医疗文本结构化中知识图谱的应用只是实体间语义的简单拼接,结构化效果较差的问题,因此本文引入知识图谱校验思路。其方法是在医疗知识图谱构建完成后,对结构化系统中提取的语义信息进行合法性校验,包括值类型、值范围、以及语义关系等,以提高文本结构化的正确率。然后,为防止文本中有用信息丢失,本文给出了一种基于CNN(Convolutional Neural Networks,卷积神经网络)分类模型对文本进行二分类的方法,并对其中CNN模型结构进行了改良。经过实验对比分析,最后选用jieba分词和CNN组合的方案对文本进行二分类。最后,通过对前面三个主要部分的研究,设计和实现了面向语义理解的结构化处理方案。通过真实的现场语音转写文本数据验证改进后的系统在结构化效果以及分类效果有较大提升。
基于MVC架构的智能认知系统的设计与实现
这是一篇关于认知计算,MVC架构,知识面库,Webservice,语义理解的论文, 主要内容为认知计算作为一种全新的计算模式,利用信息分析,自然语言处理和机器学习领域的研究的技术成果,创新的让计算机系统能够像人类的大脑通过学习、思考,进行数据分析并做出正确的判断和决策,其成果的应用有效的突破了传统技术手段,实用价值和意义重大本论文在针对智能认知系统应用技术在国内外研究现状和发展进行了分析的基础上,基于人们对政府政策和服务领域咨询需求,设计完成了智能认知系统框架构建解决方案,系统借助自然语言进行互动,通过数据源、数据汇集、知识库、知识检索、对话交互、语音接入、边缘计算等技术集成,完成智能认知系统整体架构设计,系统具体使用Java、面向服务的体系结构SOA的设计思想及B/S模式,基于MVC三层结构,使用WebService、AJAX、数据访问对象、O/RMAPPING技术、JSON、XML等技术完成了系统知识库、语义识别、智能对话等系统核心模块的设计实现,通过空间数据库及空间分析云服务完成系统基础的信息关键字和分类查询搜索,实现了包括对话控制、上下文管理及知识库搜索,知识库、文本分类,语义角色标注、上下文语义理解、槽位信息补充、答案的抽取和生成等功能。论文最后通过系统在专业领域的运行展示进行了测试,验证了设计实现的基于MVC架构的智能认知系统,结果显示系统达到设计要求和目标
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头 ，原文地址：https://m.bishedaima.com/lunwen/54039.html
