端到端的汉语文本生成研究与应用
这是一篇关于自然语言生成,神经网络,注意力机制,文本生成系统的论文, 主要内容为自然语言生成致力于解决根据不同类型的输入信息自动生成高质量的自然语言。近年来自然语言生成研究吸引了越来越多研究者的兴趣,出现了很多自然语言生产系统,包括天气预报生成系统和机器人足球赛实时解说生成系统。目前自然语言生成研究仍然面临很大挑战,生成结果的质量无法完全满足实际应用的需求。为了解决上述难题,本文重点围绕着基于深度学习的端到端自然语言生成方法展开了研究。本文的主要工作内容包括:(1)构建了面向汉语文本生成任务的数据集,解决了汉语自动生成缺乏研究资源的问题;(2)构建了基于神经网络的汉语生成模型,在相同的实验环境下,采用多种评价指标进行了对比实验;(3)基于本文构建的汉语生成模型,开发了汉语文本生成应用系统。本文主要创新点如下:(1)面向自然语言生成数据集是开展自然语言生成研究的前提和基础,目前面向自然语言生成任务的汉语数据库十分匮乏。为了解决这一限制汉语生成研究的问题,本文提出了在英文数据集的基础上,通过机器翻译和人工相结合的数据集构建方法,并利用该方法构建了面向汉语文本生成的数据集。为了确保数据集的质量,开展了人工评价工作,并在评测结果的基础上对数据集进行了进一步的加工和规范化操作。(2)将深度学习应于汉语文本生成任务,首先构建了基于循环神经网络的汉语生成模型,然后分别构建了基于长短期记忆网络及其变体GRU的生成模型。基于本文构建的数据集通过多次实验发现,基于GRU的生成模型的生成结果质量优于其他模型。(3)本文在B/S架构下,设计、开发、实现并测试了基于GRU的汉语文本生成系统。
多策略组合的汉语作文自动纠错的研究与应用
这是一篇关于神经网络语言模型,汉语作文纠错,自然语言处理,自然语言生成的论文, 主要内容为作文自动纠错任务的主要目标是利用计算机手段自动检测并纠正作文中存在的错误。国外作文自动纠错研究开展较早,已经取得了较多的研究成果,也有成功的商业应用。作文自动纠错一直是汉语智能考试的重要研究内容,但是由于问题的复杂性,汉语作文纠错问题至今没有得到很好的解决。通过本研究的开展,不仅能够满足汉语学习者的需求、减轻汉语教师的工作强度,而且对汉语考试自动化有较大的推动作用。本研究成果还能直接应用到自然语言处理和自然语言生成的很多领域上用来提升系统的表现,如文本生成、机器翻译等。神经网络在人工智能的很多领域的应用上都取得了巨大成功,本研究利用神经网络技术解决作文纠错问题。通过对汉语作文中常见错误的分析,我们发现将语言学特征规则与神经网络组合起来,能够更好的解决汉语作文中的错误。因此本研究提出了一个多策略组合的汉语纠错模型,该模型在对外汉语考试HSK的作文批改任务中取得了很好的效果。本文主要研究内容和创新点如下:(1)利用对外汉语考试中的作文文本和NLPCC作文文本构造了汉语作文语料库(2万条训练集数据和2051条测试集数据),主要解决了汉语作文自动纠错研究资源匮乏的问题。针对汉语作文改错的任务构建了多类型的改错词典资源,共构造繁体字词典、同音字词典、同形字词典、混淆集词典、同义词词典、通用词词典总计836856个词汇。(2)针对汉语作文中不同类型的错误提出了多策略组合的纠错模型。使用规则的方法解决了繁体字和拼音字错误;使用规则和统计相结合的方法解决了别字和错词错误;使用端到端的BERT、Seq2seq+Attention、Transformer神经网络纠错模型解决了多词与缺词错误。与以往研究效果相比,本文提出的基于神经网络的纠错模型取得了较好的纠错效果,性能提升显著。(3)将规则与统计模型和神经网络模型相结合,设计出一款B/S架构多策略组合的作文自动纠错系统,系统自动修改作文中的错误并生成一份个性化报告推荐给用户,有效的将自然语言处理和自然语言生成领域结合在一起应用在作文纠错系统中。
基于复制生成模型的时序知识图谱推理及应用
这是一篇关于知识图谱,时序知识图谱,自然语言生成,复制机制,意图推理,军事领域,CompGCN,时序知识图谱推理的论文, 主要内容为知识图谱包含了大量的人类知识,在搜索引擎、自问自答、机器翻译、推荐系统等任务有广泛的应用。知识图谱通常包含时间维度的动态事实,这些事实模拟了沿时间线的实体的动态关系或相互作用。近年来的研究开始将时间信息纳入知识图谱中,即时序知识图谱。由于这样的时序知识图谱常常存在不完整性,因此开发具有时间感知的时序知识图谱推理模型,帮助推断这种图中缺失的时间事实是很重要的。近年来,时序知识图谱推理已经成为一个热点,在社交网络分析、事件预测、推荐系统、意图推理等领域有广泛的应用。虽然时序知识图谱上的事实通常是不断变化的,但值得注意的是,许多事实可以在历史上反复出现。本论文利用时序知识图谱公开数据集,开展了时序知识图谱推理的研究。针对时序知识图谱嵌入方法只注重分别计算每个时间片知识图谱的潜伏表征,因此无法捕捉连续时间片中事实的长期依赖性的问题,提出一种新颖的基于时间感知复制生成模型的时序知识图谱推理方法。本文结合自然语言生成中的复制机制的实现思路,提出CyGNet(Temporal Copy-Generation Network)。大量的实验结果证明了CyGNet提高了预测精度和预测未来事件的能力。针对海空舰船侦察机等活动数据特点,将CyGNet应用于动态目标意图推理。首先,将基于某项目已经构建好的军事活动知识图谱数据随机切割为训练数据和测试数据,通过对训练数据和测试数据中存在大量的同一目标或同一区域的不同说法的实体进行实体链接,并采用图神经网络模型CompGCN学习四元组中各节点的语义向量表示获得预训练的节点向量表示,通过训练后的语义向量初始化CyGNet四元组模型。最终CyGNet对动态目标意图推理的Hits@10值为91.81%,对军事活动具有实际指导意义。但是,由于存在数据集的历史重复事件发生概率过于不平衡的问题,可能会阻碍算法的性能。在未来的工作中,本文计划尝试通过预训练时序知识图谱的全球显著实体和事件,并学习不同时间片事件之间的逻辑推理。同时将所提出的算法技术帮助理解军事活动的动态目标意图推理。
基于知识和强化学习的对话系统研究
这是一篇关于知识图谱,强化学习,对话系统,自然语言生成的论文, 主要内容为面向特定任务领域的对话系统是如今自然语言处理领域的研究焦点之一,在智能客服、个人助手等工业界领域有广泛的应用。近年来,对话系统技术发展迅速,学术界将强化学习、知识图谱技术等方法融入对话模型中,进一步提高了对话系统的性能。但是,如何基于复杂的现实对话场景构建高效而泛用的对话策略,如何充分利用外部知识,以及如何利用这些技术提高对话质量都是亟待研究的问题。鉴于此,本文对基于知识和强化学习的对话系统展开研究。本文从算法理论、使用场景等角度剖析了强化学习以及知识图谱技术在对话系统中的应用,并设计了三个知识感知和基于强化学习对话策略的任务型对话系统。为了增强对话系统在多任务对话场景下的适应能力,本文提出了两个强化学习对话策略增强的知识型对话推荐系统。它们构建了对话系统智能体,估计对话状态,选择对话动作,以最大化累积奖励为目标学习对话策略。本文首先提出了Actor-Critic对话策略,优化后的策略可以使模型适应多任务场景下的话题转移,实现策略性的对话引导。本文进一步提出了基于分层强化学习的对话策略,解决了意图标签不足时对话策略难以优化的问题,进一步将模型扩展至多意图对话场景中。实验结果表明,结合了对话策略的对话模型可以有效缩短交互轮数,提高推荐任务的成功率,证实了对话策略学习的有效性。为了进一步探索外部知识对模型的促进作用,我们提出了用于对话管理的语境化提示学习框架。该框架基于上下文、对话主题和外部知识优化提示向量,联合地建模了任务规划和话题阐述两个子任务,提升了系统生成回复的连贯度和信息量。我们还将外部知识用于构建用户画像,进行知识感知的对话推荐。实验中我们对比了知识增强前后模型的表现,知识感知的推荐模型具有更好的推荐精度,取得了更高的对话评估指标,证明了其有效性。最后,本文就现阶段上述技术面临的挑战和前沿方法的局限性进行探讨,并展望了对话系统的未来研究方向。
基于勘探知识图谱的推理问答系统研究和设计
这是一篇关于问答系统,知识图谱,文本检索,自然语言生成,图神经网络的论文, 主要内容为勘探开发领域的工作结果往往以论文、报告等非结构文档的形式进行展示,而勘探开发知识图谱是其知识提纯的产物。实际的勘探开发工作往往需要文档或知识图谱中的知识,但是由于全文检索与传统问答系统的方式停留在浅层的关键字和语义匹配层面,现有的系统无法从中得到深层次的知识与答案。为了满足勘探开发专家对于复杂知识的内容查询要求,需要利用生成式的方法与基于知识图谱的关系推理方法完成复杂答案生成与隐含关系推理工作。为完成以上工作,本文研究并设计了基于勘探开发知识图谱的推理问答系统,其主要包括以下三部分内容:(1)设计并实现从输入问题到得到答案的完整问答系统,包括文档与知识库检索查询方式的探索与应用,并在此之上进行相关算法的优化与改进,以提高系统的正确率与查全率。(2)针对答案来自多个段落内容的复杂问题,提出了一种面对多段落问答的生成式模型。该模型将知识图谱信息融入到文档表示中以增强语义信息,并运用指针生成网络生成最终答案。该模型能够将答案内容从多个有关段落内进行匹配并进行总结生成综合性答案。(3)针对包含隐含关系的问题,提出了一种跨段落推理的问答模型。该模型将文档、知识图谱中与问题相关的关系构建为统一的推理图,利用推理图构建实体间关联,并通过图神经网络对推理图进行表达与推理计算,以得到最终的答案。本文设计并实现了基于勘探知识图谱的推理问答系统,在公开数据集与勘探开发数据集上均有一定的正确率,对实际的勘探开发工作有着应用价值。
基于任务型对话的中医辅助问诊系统研究与实现
这是一篇关于中医问诊,任务型对话,自然语言理解,自然语言生成,自动诊断的论文, 主要内容为中医诊断是中医诊疗的基础,也是中医诊疗过程最关键的一环。中医诊断的主要方法为望诊、闻诊、问诊、切诊,其中问诊是中医诊断方法中的重要组成部分,问诊通过中医医师与患者多轮对话的方式,了解患者疾病的发生、发展情况、现有症状等。在中医问诊过程中,问诊内容和问诊顺序往往为中医医师的行医经验决定。目前的任务型对话与中医问诊的结合还处于发展阶段,并没有建立个性化专有中医问诊模型。因此,论文以中医问诊任务型对话为研究对象,开展中医问诊自然语言理解、问诊自然语言生成研究、中医证候辨识研究,设计实现基于任务型对话的中医问诊平台,主要工作如下:1.针对现有的自然语言理解模型在槽位填充任务和意图识别任务上二者缺乏有效结合,以及现有的模型在长文本对话中存在信息遗忘问题,提出基于BERT+Bi-GRU+Attention机制的自然语言理解联合模型(Joint Model of Intention recognition and Slot filling based on BERT+Bi-GRU+Attention mechanism,JMIS-BBA),将当前自然语言理解任务中的意图识别和槽位填充任务联合训练,引入Bi-GRU+注意力机制提高对长文本的识别准确率。实验结果表明,JMIS-BBA在SNIPS(Spoken Natural language processing in service of Intelligent Personal Asistants,SNIPS)数据集、ATIS(Airline Travel Information System,ATIS)数据集的Slot-F1分数、Intent-F1分数、Sentence准确率分别为97.8%、97.6%、92.8%和98.0%、97.6%、92.0%,在中医临床数据集的Slot-F1分数、Intent-F1分数、Sentence准确率分别为96.3%、100.0%、100.0%,为中医问诊的自然语言理解提供了有效的方法。2.针对现有的模型采用固定编码的方式,将对话动作编码为One-hot形式,虽然在固定对话动作集取得了很好的效果,但是新增对话动作需要重新编码,模型维护性差;此外现有模型将多个槽位同等对待,忽略了不同槽位对对话生成的影响,提出基于对话动作和槽位对的自动编码器对话生成模型(Action and Slot pairs based Auto-Encoder conversation generation model,ASAE),采用对话动作和槽位对的自动编码器学习对话的行为特征,解码器根据不同权重槽位对生成自然语言回复。测试结果显示,ASAE在SF(San Francisco,SF)数据集的Hotel、Restaurant、Laptop领域下BLEU-4得分分别为68.9%、80.1%、42.3%,ERR得分分别为2.6%和2.8%、2.7%。3.针对现有模型存在忽略时间、空间特征信息和无监督信息,提出融合无监督信息的自动编码器和卷积神经网络的证候辨识(Automatic Encoder and Convolutional Neural Network with unsupervised information,AECNN),通过融合无监督信息与监督信息,引入LSTM编码器和CNN网络捕获中医特征的序列特征和空间特征,学习中医专家问诊经验特征。测试结果显示,AECNN可提高中医证候辨识准确率,在CIFAR10公开数据集和TDCC中医临床数据集上识别准确率分别为74.1%和95.3%。4.通过SpringBoot、MyBatis和Vue等框架,基于BS(Browser/Service,B/S)架构,采用Java语言和Python语言、My SQL数据库设计并实现基于任务型对话的中医问诊平台,具备意图识别、槽位填充、证候辨识和场景交互等功能,通过功能测试和性能测试,模拟实现了中医问诊的效果。
基于微服务的深度学习科学文献自然语言生成系统
这是一篇关于自然语言处理,自然语言生成,微服务系统,流量控制的论文, 主要内容为自然语言处理技术广泛应用在当今的互联网服务中,在商品推荐、舆情分析、智能助手等应用场景中都用到基于深度学习的自然语言处理技术。其中,自然语言生成技术具有知识依赖强、模型结构复杂等特点,其实现的难度远超其它模型。为了提高机器学习模型在自然语言生成任务上的表现,本文对模型结构、训练方法、以及数据集制作等几个方向进行了探索,并讨论了机器学习模型在微服务场景部署的优化方法,以服务流量为切入点展开了研究。本文的主要工作和取得的成果包括以下三个方面:(1)针对条件自然语言生成问题,本文提出主题可控的文本生成模型,通过对Transformer模型的掩码矩阵以及层次标准化结构进行改进,提出条件文本生成模型以及两阶段解码方法。通过有监督训练能够使模型学习数据集的标注标准,从而生成符合一定关系的句子对,经过实验验证生成样本具有较好的文本质量,能够起到数据增强的作用。(2)针对科学文献领域的多任务文本生成问题,本文提出了一种数据源生的多任务学习方法,使一个模型可以用于各种文本生成任务,并且多个任务之间能够起到数据增益的作用。此外,本文提出了结构化多任务数据集,中文科学文献数据集,利用天然有标注数据,能够派生出大量自然语言生成任务,具有很高的数据质量。之后,本文在T5预训练模型上验证了提出的方法,发现能够胜任多种自然语言生成场景,是目前首个中文多任务自然语言生成模型。(3)针对机器学习模型部署在实际应用中的问题,本文将以上提出的算法模型作为微服务中提供的服务内容,探索了微服务场景中的流量控制方案,提出基于运筹学方法的自适应流量控制算法。对微服务节点的硬件使用率和流量场景建模,实时计算各个服务的限流阈值。经过对比实验,这种动态计算限流阈值的方法相比传统的静态方法,在各种流量场景下都能提升系统的吞吐量,提高资源利用率。
汉语词汇替换研究与系统实现
这是一篇关于神经网络模型,自然语言处理,汉语词汇替换,自然语言生成的论文, 主要内容为词汇替换任务的目标是在给定的语境中不改变句子含义的情况下,用替代词替换句子中的目标词。国外对词汇替换的研究开展较早,并且已经取得了较多的研究成果。词汇替换一直是自然语言处理领域的重点研究方向,但由于问题的复杂性,汉语的词汇替换问题没有得到很好的解决。随着算法理论和技术不断引入,解决汉语词汇替换问题逐渐成为了可能。本研究的成果可应用到自然语言处理和生成的很多领域,比如词汇简化,词义消歧,摘要生成等等领域。文章重点围绕着汉语作文用词方面的词汇替换任务,对其涉及到的理论与实际问题进行了大量探究,首先构建了基于词典的汉语作文词汇替换模型作为基线模型,然后构建了基于神经网络的汉语作文词汇替换模型,并在取得研究成果的基础之上,开发了汉语作文词汇替换辅助系统,其主要目标是将文本中不适合上下文或者写的不够精彩的词语识别并进行替换,从而提高作文质量。本文主要内容和创新点如下:(1)为了解决汉语词汇替换研究所需数据集匮乏的问题,构建了汉语词汇替换的数据集。针对汉语作文用词方面的词汇替换,本文采用HSK中的中级和初级词汇和国家语言委员会的现代汉语语料库和中文翻译语料库作为构建数据集的来源。参照英文词汇替换数据集的构建,遵循提出句子,提供替代词和合并注释的构建步骤,创建了汉语作文词汇替换数据集ch LS,数据集大约2000条数据,能够很好的应用于汉语词汇替换的研究。(2)为了解决汉语作文方面词汇替换研究匮乏的问题,对汉语词汇替换进行进一步研究,本文借鉴了英文词汇替换任务所用的方法,提出并构建了基于词典的汉语词汇替换模型作为汉语词汇替换研究的基线模型,为了提高汉语词汇替换的效率,本文又构建了基于上下文感知词嵌入的汉语词汇替换模型,基于Bert语言模型的汉语词汇替换模型和基于融合的汉语词汇替换模型来提高汉语词汇替换的替换效率,在汉语作文词汇替换数据集ch LS上实验结果表明,本文提出的用于汉语词汇替换的模型取得了比较好的效果。(3)为了使汉语作文词汇替换的研究得到很好的应用,本文将基于词典的词汇替换模型和基于神经网络的词汇替换模型相结合,设计并实现出一款使用Flask框架和B/S架构的汉语作文辅助词汇替换系统。系统会自动替换作文中不适合上下文和不精彩的词汇并生成一份个性化报告提供给用户。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计工坊 ，原文地址：https://m.bishedaima.com/lunwen/46141.html
