基于服务匹配的智能问答系统设计与实现
这是一篇关于智能问答系统,本体,文本纠错,服务匹配,实体识别的论文, 主要内容为随着人工智能的发展,尤其是对信息技术研究的深入,如何从海量信息中提取出用户需要的知识成为了一个热门的研究方向,随之而来,诞生了一大批信息检索系统,传统的使用浏览器搜索引擎的检索方式已经很难满足用户的需求,智能问答系统的出现使得用户更容易获取到有用的信息。但是现在对智能问答系统的研究还在初期,只能对一些常见问题进行回答,而且对问句的处理也比较简单,对专业领域比如金融、医疗、电商等专业性较强的问题的回答很难得到用户满意的效果。本文通过对现有的智能问答系统相关技术进行总结,发现系统实现的难点在于如何根据问题领域构建相应的知识库和检索方法,如何准确的从用户提问中解析出查询语义,如何将问题的查询语义映射到相应的检索规则,然后从知识库中获取答案。本文的研究主要是针对这三点进行,其具体内容如下:知识库的构建是根据查询问题相关的领域知识完成的,针对领域知识具有偏结构化、关联性强的特征,本文将领域知识存储在关系型数据库中,用本体把数据的概念、属性和联系抽取出来,这样本体的内容只是知识库中实体的领域含义和相关联系,而不包括整个知识库实例,给本体的建立和知识库的维护提供了很大的便捷。而且由于领域知识相关的查询具有语义理解能力强的特征,问题对应的实体或者属性描述都比较明确,本文将查询问题的查询结构抽象成相应的查询服务,以此来建立知识库的检索方法。问答系统的一般都是通过语音来提问,现有的问答系统大都是默认语音输入法识别准确无误,但实际上对于一些专业问题,由于专用名词存在中英文混杂、新词多和缺乏对应的词汇知识库的情况,再加上口语查询的存在发音不标准等原因,造成了输入法的语音识别出错,本文针对这种情况提出了一种基于声韵母的文本纠错并结合条件随机场实体标注的方法,通过这种方法来准确的识别问句中语义。根据领域知识的层次性和关联性,本文提出了一种改进的服务匹配方法,该方法通过领域概念关系来判断服务参数概念的匹配度,并通过查询特点使用服务描述的非必要属性来提高服务查询的精度并降低待匹配服务的范围。并且考虑查询具有上下句相关联的情况,本文将查询的结果以结构化形式保存,并根据相应的查询条件,确定是否在下次查询中使用。基于以上研究,本文提出了基于服务匹配的智能问答系统实现框架,该框架分为三个模块:知识梳理、问题解析、服务检索与查询上下文管理模块。为了验证本框架的实用性,本文在“国民经济大数据问答系统”中应用该框架,综合来说,整个应用过程取得了良好的效果,证明了本文所提出的框架是有效可行的。
基于自然语言处理的行政案件快速办理系统的设计与实现
这是一篇关于案件快速办理,自然语言处理,对话管理系统,文本纠错,文本分类,命名实体识别,知识图谱的论文, 主要内容为近年来,为实现执法行为系统化与规范化管理,国务院办公厅与中共中央办公厅相继印发了《关于深化公安执法规范化建设的意见》和《公安机关办理行政案件程序规定》,提出了关于实施行政案件快速办理程序的规章制度。该程序的实施主要针对基层公安机关与派出所案多人少,警力不足的现象,它的应用可以有效减轻基层民警的工作压力,提升办案效率,降低执法成本。结合案件快速办理程序的应用需要与智慧警务系统的建设需要,本文设计并实现了基于自然语言处理的行政案件快速办理系统,在证据收集、案件处理与行政处罚三个过程中辅助民警进行案件办理。在行政案件快速办理系统的研发过程中,本人主要工作为实现了笔录制作、语义分析、行政量罚三个子系统。其中,笔录制作子系统依托对话管理算法对违法行为人进行笔录询问,并对笔录中出现的错别字词进行纠正,同时判别问答句是否一致,快速制作询问笔录;语义分析子系统中,对笔录中出现的关键要素进行提取,便于办案民警进行阅读;智慧量罚子系统中,建立了完备的量罚知识图谱,并结合实际情况对违法行为人做出相应的量罚审定。本项目前端部分基于Vue框架开发;后端部分采用Java开发,系统架构为Spring MVC架构;算法部分采用Python开发,使用Tensorflow作为深度学习开发框架,模型训练完成后存储权值文件,将其封装在Docker中,对外提供服务。笔录制作子系统中,笔录问答部分采用系统主导的多轮对话管理技术实现,并使用了基于KenLM语言模型的文本纠错算法和基于Bert模型的文本分类算法,辅助进行笔录合规性检测;语义分析子系统中,采用基于BiLSTM+CRF的命名实体识别算法,提取笔录中出现的关键要素;智慧量罚子系统中,采用Neo4j图数据库作为量罚知识图谱存储库,将查询条件转换为Cypher语言进行查询操作。目前,本项目中三个子系统已经开发完成并在试点派出所投入使用,高效快速办理多起行政案件,取得了良好的效果。
基于知识图谱的OCR转换文本纠错方法研究与应用
这是一篇关于OCR,文本纠错,深度学习,知识推理,TF-IDF的论文, 主要内容为大规模数据的获取是大数据与人工智能研究的基础,其中文本类数据主要来自规整好的文本资源和包含丰富文本信息的图像文件。图像文件中大量可用文本信息的提取是数据获取的前提。当前针对图像文件的文本信息提取大多是基于OCR技术实现的,然而OCR是一种基于图象识别的技术,在图像文件转换过程中往往存在识别错误,为了提高图像文件转换后的文本可用性,避免繁琐的人工校正,本文提出了一种针对OCR识别的领域文本纠错方法,并从以下几个方面进行了研究:(1)提出了一种针对OCR转换文本进行纠错的方法。通过对TF-IDF算法进行改进,结合余弦相似度计算设计了一种对多候选字列表进行权重生成并排序的筛选算法,结合本文设计的错误规则推理模型和特征交叉算法,设计了一种针对OCR转换文本进行错误判断及纠正的方法,并在实际应用场景中进行了推理和验证。(2)探索了汉字构造属性在OCR转换文本纠错中的启发作用。本文设计构建了一个关于汉字构造属性的汉字知识图谱,利用汉字知识图谱辅助知识推理模型对汉字与汉字之间在OCR转换时的错误规则进行预测,有效的提高了模型的推理能力。(3)设计了一种根据数据类型进行差异化编码的知识推理模型。通过多种深度学习模型对知识图谱中不同数据类型实体进行针对性处理,使特征矩阵的语义程度更加丰富,对经过差异化编码处理的不同数据特征矩阵进行矩阵拼接,利用ConvE图卷积模型对特征矩阵进行卷积学习。本文在收集的OCR转换错误规则数据集和Movielens公开数据集上进行了实验评估,实验表明,针对当前主流的知识推理模型,本文提出的知识推理模型在MRR、Hist@1、Hist@2等指标上取得了重要的提升。(4)引入了一种对三元组特征矩阵进行特征强化的算法。通过将关系矩阵与头尾实体矩阵进行特征交叉,得到更具代表性的头尾实体矩阵作为卷积预测网络的输入。通过将该算法集成到错误规则推理模型中,有效的提升了模型在数据集上的实验指标。为了验证针对OCR转换文本纠错方法的有效性,本文设计实现了一个OCR文本纠错系统对其进行了实际使用场景下的验证。
面向政府工作的文档管理系统的设计与实现
这是一篇关于文档管理系统,文档概要信息获取,文档语义搜索,文本纠错,Word插件的论文, 主要内容为近年来,随着互联网技术的发展,政府工作人员面临着需要在短时间内快速分析、管理和编写大量以电子文档形式存在的工作文档的工作需求。如何省时省力地从各类政府工作文档中快速、准确的获取文档的概要信息、管理编辑文档,是当前需要解决的主要问题。为了解决以上问题,本文结合了政府工作文档的特点,使用自然语言处理技术以及系统前后端开发技术,设计实现了面向政府工作的文档管理系统。本文主要做了以下几点工作。第一,针对工作人员需要快速获取、浏览文档概要信息的需求,采用文档摘要和关键词形成对文档的概要描述,便于工作人员快速了解文档核心内容。首先,使用一种基于GAN网络的摘要方法实现了文本摘要功能,解决了生成式摘要需要大量标注数据、很多政府工作文档的标题无法表达概述信息的问题;然后,为了优化摘要模型,使用BERT模型实现了文本分类功能对输入数据进行分类处理,分类训练摘要模型,用于提高模型效果。另一方面,使用Text Rank算法实现了关键词抽取功能。并且为了优化算法,融合了Word2vec词向量技术来计算单词间的相关度,提高了算法效果。第二,针对工作人员需要快速获取语义相关的文档内容的需求,实现了文档语义搜索功能。为了简化工作人员的操作流程,实现了以文档对象及文档内容搜索语义相似文档,使用基于Sentence-BERT模型的文本匹配方法来实现,在保留BERT模型优秀效果的同时,解决了多条文本匹配耗费时间长的问题。第三,针对工作人员需要进行中文文本纠错的需求,实现了文本纠错功能。考虑到工作文档实际编写时出现错误多为字音字形以及专用词错误,和算法执行效率的需求,使用基于统计语言模型N-gram作为算法基础,并加入自定义混淆集作为辅助,在满足系统执行效率的前提下,提高了可扩展性。系统形式上,根据政府工作人员使用Word软件办公的习惯,采用Word软件插件与Web网站结合的方式提供人机交互,使用Spring Boot、My SQL等技术构建后端系统,使用Flask微服务的发布与调用的方式来整合底层算法。系统包含用户管理、数据处理、文档概要信息获取、文档语义搜索、文档编辑、数据管理六个功能模块,在提供文档管理功能的基础上,可以帮助用户获取文档类别、摘要、关键词等概要信息,进行文档语义搜索,对文本进行自动纠错。目前面向政府工作的文档管理系统已经过测试并试运行良好,可以让政府工作人员管理、编辑文档变得十分方便,减轻了工作人员的任务量,实用性与可用性较强。
基于服务匹配的智能问答系统设计与实现
这是一篇关于智能问答系统,本体,文本纠错,服务匹配,实体识别的论文, 主要内容为随着人工智能的发展,尤其是对信息技术研究的深入,如何从海量信息中提取出用户需要的知识成为了一个热门的研究方向,随之而来,诞生了一大批信息检索系统,传统的使用浏览器搜索引擎的检索方式已经很难满足用户的需求,智能问答系统的出现使得用户更容易获取到有用的信息。但是现在对智能问答系统的研究还在初期,只能对一些常见问题进行回答,而且对问句的处理也比较简单,对专业领域比如金融、医疗、电商等专业性较强的问题的回答很难得到用户满意的效果。本文通过对现有的智能问答系统相关技术进行总结,发现系统实现的难点在于如何根据问题领域构建相应的知识库和检索方法,如何准确的从用户提问中解析出查询语义,如何将问题的查询语义映射到相应的检索规则,然后从知识库中获取答案。本文的研究主要是针对这三点进行,其具体内容如下:知识库的构建是根据查询问题相关的领域知识完成的,针对领域知识具有偏结构化、关联性强的特征,本文将领域知识存储在关系型数据库中,用本体把数据的概念、属性和联系抽取出来,这样本体的内容只是知识库中实体的领域含义和相关联系,而不包括整个知识库实例,给本体的建立和知识库的维护提供了很大的便捷。而且由于领域知识相关的查询具有语义理解能力强的特征,问题对应的实体或者属性描述都比较明确,本文将查询问题的查询结构抽象成相应的查询服务,以此来建立知识库的检索方法。问答系统的一般都是通过语音来提问,现有的问答系统大都是默认语音输入法识别准确无误,但实际上对于一些专业问题,由于专用名词存在中英文混杂、新词多和缺乏对应的词汇知识库的情况,再加上口语查询的存在发音不标准等原因,造成了输入法的语音识别出错,本文针对这种情况提出了一种基于声韵母的文本纠错并结合条件随机场实体标注的方法,通过这种方法来准确的识别问句中语义。根据领域知识的层次性和关联性,本文提出了一种改进的服务匹配方法,该方法通过领域概念关系来判断服务参数概念的匹配度,并通过查询特点使用服务描述的非必要属性来提高服务查询的精度并降低待匹配服务的范围。并且考虑查询具有上下句相关联的情况,本文将查询的结果以结构化形式保存,并根据相应的查询条件,确定是否在下次查询中使用。基于以上研究,本文提出了基于服务匹配的智能问答系统实现框架,该框架分为三个模块:知识梳理、问题解析、服务检索与查询上下文管理模块。为了验证本框架的实用性,本文在“国民经济大数据问答系统”中应用该框架,综合来说,整个应用过程取得了良好的效果,证明了本文所提出的框架是有效可行的。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:代码港湾 ,原文地址:https://m.bishedaima.com/lunwen/52784.html