基于知识图谱的作物病虫害智能问答系统设计与实现
这是一篇关于作物病虫害,知识图谱,智能问答系统,自然语言处理,深度学习的论文, 主要内容为在农业生产过程中,病虫害一直以来都是影响农产品产量和质量的主要问题,然而随着互联网技术的发展,网络数据呈爆炸式增长,作物病虫害数据也呈现出高度分散、多源异构的状态,使得农民、植保专家等农业相关从业者很难迅速准确地获取所需信息。传统的信息获取方式以搜索引擎为主,但其采用基于关键词或浅层语义分析等方式实现检索,返回大量相关网页链接,答案模糊且冗余。智能问答系统由于支持用户自然语言输入、精准捕获用户意图、返回简洁准确的答案,成为近年来的研究热点。知识图谱的出现和快速发展,为智能问答系统提供了高质量的知识库基础,推动了问答系统在各个领域中的应用。本文融合自然语言处理、深度学习等技术,设计并实现基于知识图谱的作物病虫害智能问答系统,主要开展的工作如下:(1)作物病虫害知识图谱构建。知识图谱构建过程主要分为四个步骤:数据获取,本体构建,知识抽取以及知识存储。首先,利用爬虫技术采集相关作物病虫害数据,并进行数据清洗、数据分析等数据预处理工作。其次,根据数据内容及表示特征,构建作物病虫害本体,预定义实体间的关系和属性类型,明确知识抽取的边界。然后,在本体的基础上,利用规则逻辑方法提取半结构化数据;利用实体和关系联合抽取方法提取非结构化数据。最后,将抽取到的三元组数据存储到Neo4j图数据库中,实现知识图谱的可视化管理和一定程度的知识推理。(2)提出基于新标注策略的实体和关系联合抽取。传统的语料标注方式不一定适用于所有领域,本文根据作物病虫害语料库特征,以一种与领域语料相适应的新标注体系实现实体和关系的联合抽取。将实体和关系抽取任务转化为序列标注问题,对实体和关系进行同步标注,直接对三元组建模而不是分别对实体和关系建模,通过标签匹配和映射即可获得三元组数据,不仅提高至少一倍的标注效率,还有效缓解重叠关系抽取问题。同时利用BERT-Bi LSTM-CRF端到端深度学习模型在数据集上进行实验,取得90.51%的F1值。(3)基于知识图谱的问答算法研究。在作物病虫害知识图谱构建完成的基础上,将问答任务划分为三个子任务:命名实体识别、属性链接以及问句相似性计算。为了构建更加轻量级的问答系统,本文利用Han LP自然语言处理工具中的中文分词+自定义词典+词性标注功能实现问句的实体识别。通过构建属性标注库,利用ERNIE预训练语言模型完成对问答过程的问句属性链接,其在数据集上的表现明显优于其他经典模型。为了增强用户问答的智能性、便利性和连贯性,通过基于TF-IDF算法的文本相似性计算,展示与用户输入问句相似的相关问句。(4)设计并实现了基于知识图谱的作物病虫害智能问答原型系统。结合Fast API、Vue.js等框架实现问答原型系统的前端和后端开发与交互,实现用户以自然语言问句提问,支持作物病虫害症状、病原、防治药物等信息的问答。本文在实体关系联合抽取技术基础上提出了一种知识图谱的半自动化构建方法,并研发基于知识图谱的作物病虫害智能问答系统。本文工作为农业智能问答领域提供了一种新思路,其中知识图谱的半自动化构建方法可为农业推荐系统、农业知识库构建、农业智能搜索等应用知识库构建的技术支撑。
基于知识图谱的作物病虫害智能问答系统设计与实现
这是一篇关于作物病虫害,知识图谱,智能问答系统,自然语言处理,深度学习的论文, 主要内容为在农业生产过程中,病虫害一直以来都是影响农产品产量和质量的主要问题,然而随着互联网技术的发展,网络数据呈爆炸式增长,作物病虫害数据也呈现出高度分散、多源异构的状态,使得农民、植保专家等农业相关从业者很难迅速准确地获取所需信息。传统的信息获取方式以搜索引擎为主,但其采用基于关键词或浅层语义分析等方式实现检索,返回大量相关网页链接,答案模糊且冗余。智能问答系统由于支持用户自然语言输入、精准捕获用户意图、返回简洁准确的答案,成为近年来的研究热点。知识图谱的出现和快速发展,为智能问答系统提供了高质量的知识库基础,推动了问答系统在各个领域中的应用。本文融合自然语言处理、深度学习等技术,设计并实现基于知识图谱的作物病虫害智能问答系统,主要开展的工作如下:(1)作物病虫害知识图谱构建。知识图谱构建过程主要分为四个步骤:数据获取,本体构建,知识抽取以及知识存储。首先,利用爬虫技术采集相关作物病虫害数据,并进行数据清洗、数据分析等数据预处理工作。其次,根据数据内容及表示特征,构建作物病虫害本体,预定义实体间的关系和属性类型,明确知识抽取的边界。然后,在本体的基础上,利用规则逻辑方法提取半结构化数据;利用实体和关系联合抽取方法提取非结构化数据。最后,将抽取到的三元组数据存储到Neo4j图数据库中,实现知识图谱的可视化管理和一定程度的知识推理。(2)提出基于新标注策略的实体和关系联合抽取。传统的语料标注方式不一定适用于所有领域,本文根据作物病虫害语料库特征,以一种与领域语料相适应的新标注体系实现实体和关系的联合抽取。将实体和关系抽取任务转化为序列标注问题,对实体和关系进行同步标注,直接对三元组建模而不是分别对实体和关系建模,通过标签匹配和映射即可获得三元组数据,不仅提高至少一倍的标注效率,还有效缓解重叠关系抽取问题。同时利用BERT-Bi LSTM-CRF端到端深度学习模型在数据集上进行实验,取得90.51%的F1值。(3)基于知识图谱的问答算法研究。在作物病虫害知识图谱构建完成的基础上,将问答任务划分为三个子任务:命名实体识别、属性链接以及问句相似性计算。为了构建更加轻量级的问答系统,本文利用Han LP自然语言处理工具中的中文分词+自定义词典+词性标注功能实现问句的实体识别。通过构建属性标注库,利用ERNIE预训练语言模型完成对问答过程的问句属性链接,其在数据集上的表现明显优于其他经典模型。为了增强用户问答的智能性、便利性和连贯性,通过基于TF-IDF算法的文本相似性计算,展示与用户输入问句相似的相关问句。(4)设计并实现了基于知识图谱的作物病虫害智能问答原型系统。结合Fast API、Vue.js等框架实现问答原型系统的前端和后端开发与交互,实现用户以自然语言问句提问,支持作物病虫害症状、病原、防治药物等信息的问答。本文在实体关系联合抽取技术基础上提出了一种知识图谱的半自动化构建方法,并研发基于知识图谱的作物病虫害智能问答系统。本文工作为农业智能问答领域提供了一种新思路,其中知识图谱的半自动化构建方法可为农业推荐系统、农业知识库构建、农业智能搜索等应用知识库构建的技术支撑。
基于知识图谱的作物病虫害智能问答系统设计与实现
这是一篇关于作物病虫害,知识图谱,智能问答系统,自然语言处理,深度学习的论文, 主要内容为在农业生产过程中,病虫害一直以来都是影响农产品产量和质量的主要问题,然而随着互联网技术的发展,网络数据呈爆炸式增长,作物病虫害数据也呈现出高度分散、多源异构的状态,使得农民、植保专家等农业相关从业者很难迅速准确地获取所需信息。传统的信息获取方式以搜索引擎为主,但其采用基于关键词或浅层语义分析等方式实现检索,返回大量相关网页链接,答案模糊且冗余。智能问答系统由于支持用户自然语言输入、精准捕获用户意图、返回简洁准确的答案,成为近年来的研究热点。知识图谱的出现和快速发展,为智能问答系统提供了高质量的知识库基础,推动了问答系统在各个领域中的应用。本文融合自然语言处理、深度学习等技术,设计并实现基于知识图谱的作物病虫害智能问答系统,主要开展的工作如下:(1)作物病虫害知识图谱构建。知识图谱构建过程主要分为四个步骤:数据获取,本体构建,知识抽取以及知识存储。首先,利用爬虫技术采集相关作物病虫害数据,并进行数据清洗、数据分析等数据预处理工作。其次,根据数据内容及表示特征,构建作物病虫害本体,预定义实体间的关系和属性类型,明确知识抽取的边界。然后,在本体的基础上,利用规则逻辑方法提取半结构化数据;利用实体和关系联合抽取方法提取非结构化数据。最后,将抽取到的三元组数据存储到Neo4j图数据库中,实现知识图谱的可视化管理和一定程度的知识推理。(2)提出基于新标注策略的实体和关系联合抽取。传统的语料标注方式不一定适用于所有领域,本文根据作物病虫害语料库特征,以一种与领域语料相适应的新标注体系实现实体和关系的联合抽取。将实体和关系抽取任务转化为序列标注问题,对实体和关系进行同步标注,直接对三元组建模而不是分别对实体和关系建模,通过标签匹配和映射即可获得三元组数据,不仅提高至少一倍的标注效率,还有效缓解重叠关系抽取问题。同时利用BERT-Bi LSTM-CRF端到端深度学习模型在数据集上进行实验,取得90.51%的F1值。(3)基于知识图谱的问答算法研究。在作物病虫害知识图谱构建完成的基础上,将问答任务划分为三个子任务:命名实体识别、属性链接以及问句相似性计算。为了构建更加轻量级的问答系统,本文利用Han LP自然语言处理工具中的中文分词+自定义词典+词性标注功能实现问句的实体识别。通过构建属性标注库,利用ERNIE预训练语言模型完成对问答过程的问句属性链接,其在数据集上的表现明显优于其他经典模型。为了增强用户问答的智能性、便利性和连贯性,通过基于TF-IDF算法的文本相似性计算,展示与用户输入问句相似的相关问句。(4)设计并实现了基于知识图谱的作物病虫害智能问答原型系统。结合Fast API、Vue.js等框架实现问答原型系统的前端和后端开发与交互,实现用户以自然语言问句提问,支持作物病虫害症状、病原、防治药物等信息的问答。本文在实体关系联合抽取技术基础上提出了一种知识图谱的半自动化构建方法,并研发基于知识图谱的作物病虫害智能问答系统。本文工作为农业智能问答领域提供了一种新思路,其中知识图谱的半自动化构建方法可为农业推荐系统、农业知识库构建、农业智能搜索等应用知识库构建的技术支撑。
基于知识图谱的作物病虫害问答系统研究
这是一篇关于知识图谱,问答系统,农业问答,作物病虫害,BiLSTM-CRF的论文, 主要内容为随着数字农业的不断发展,农业大数据呈现爆炸式增长,农户对农业信息服务的需求也在不断增加,但是搜索引擎中往往存在大量的需要人们自行分辨的冗余信息,对于农户、农业技术人员和相关从业者来说,农作物病虫害数据也表现出了高度分散、多源异构的状况。针对以上问题,本研究对作物病虫害的各种知识进行了分类,并使用深度学习模型对三元组数据进行抽取,构建了基于作物病虫害的知识图谱,并基于该知识图谱设计实现了农作物病虫害问答系统。主要研究工作如下:(1)作物病虫害知识图谱的构建。基于作物病虫害领域的相关资料,本研究采用了多种策略来获取非结构化数据和半结构化数据,并应用Scrapy爬虫技术从科普网站收集了大量有关半结构化数据的信息。实现了对半结构化的文本数据的实体抽取,并将数据存储到图数据库中。在作物病虫害实体抽取的对比实验中,CRF、BiLSTM、BiLSTM-CRF以及HMM的F1值分别为82.74%、75.74%、87.30%和71.14%,BiLSTM-CRF模型得到了最好的效果,经过实验证明,在缺少大量人工特征的情况下,BiLSTM-CRF模型可以自动、高效地提取文本特征。之后将得到的三元组形成知识图谱并存放在Neo4j图数据库中,最终形成一个作物病虫害知识图谱。(2)基于知识图谱的作物病虫害问答方法。对输入问题进行问句分类,提取关键词,本研究提取问句实体的方法采用了AC自动机匹配的形式,并利用图数据库中的Cypher语言编写查询模板。最后,使用预先构建的答案模板将检索结果组合成通顺连贯的自然语言输出。(3)基于知识图谱作物病虫害的问答系统开发。对系统架构中的数据层进行了设计、所述模型层与展示层为三层结构,实现了显示模块与功能模块的分离,实现用户对作物病虫害领域的相关危害症状,危害部位,预防和控制方法、对治疗方式的问答和可视化等,满足用户对信息的快速以及准确获取。
基于深度学习的作物病虫害知识图谱问答系统的研究与应用
这是一篇关于作物病虫害,知识图谱,关系抽取,相似度计算模型,长短期记忆网络的论文, 主要内容为作物生产对我国具有重要的意义,在实际生产环境中,病虫害问题对于作物产量和质量的影响很大。因此,建立作物病虫害知识库,分析影响作物生产的因素,对作物生产质量的提高,具有研究意义。知识图谱技术是一种能够以更接近人类认知世界形式表达信息的方式,可以更好的对作物病虫害领域信息进行表达,帮助我们理解、组织和查询相关信息。构建一个具有知识问答功能的作物病虫害知识图谱系统,分析农作物种植过程中农户遇到的病虫害问题,直接返回对应的答案,将很大程度上简化农民获取信息的复杂性,可为农民的作物生产提供重要的指导作用。本文研究了知识图谱关系抽取的方法,提出了基于注意力机制的Bi-LSTM作物病虫害关系抽取模型,促进了最终作物病虫害知识图谱的构建。问答系统的研究中,相似度计算问题是很重要的部分,它为系统理解用户提问起到关键作用,其准确率直接决定了系统的可靠性。本文引入了词向量和LSTM网络,该方法以词向量作为输入,构建句子相似度模型,并将该模型应用到知识图谱系统的知识问答模块中。本文从作物病虫害知识库构建与数据处理、关系抽取模型构建及实验分析、句子相似度模型构建及实验分析、领域知识图谱系统构建和功能实现三个方面展开研究和讨论,具体内容如下:(1)作物病虫害知识库构建与数据处理。主要基于Scrapy设计网络爬虫,本文采用的作物病虫害数据爬取自“国家农业科学数据共享中心”等专业农事网站。对获取的作物病虫害源数据进行预处理,对其中的数据实体进行人工分类、标注。最终生成作物病虫害数据集、标注的问答集及实体识别筛选出的实体集,其中所有问句划分为了 637类,关系种类预设为5类,最终获得关系总数13182条。(2)关系抽取模型构建及实验分析。为解决传统关系抽取方法的时间复杂性和低效率的问题,提出了基于注意力机制的Bi-LSTM作物病虫害关系抽取模型,包括输入层、嵌入层、网络层和分类层。注意力机制能够帮助模型关注文本中的重要部分,用以增加有效样本的权重。将CNN、RNN、LSTM、BI-LSTM等与本文提出的关系抽取模型进行了对比实验,本文模型综合F1值达到77.60%,相对于其他几种模型,平均提高了近7个百分点。(3)句子相似度模型构建及实验分析。构建了一个基于LSTM的句子相似度模型,包括输入层、嵌入层、LSTM层、全连接层和输出层。首先采集了大量作物病虫害的相关语料,在通用语料和病虫害语料结合的基础上训练了词向量。然后用得到的词向量模型对训练数据向量化后作为输入,训练句子相似度模型。通过调参以得到最好的相似度模型计算结果。对照两种基线方法进行了实验对比,最后从相似度计算值和准确率两个方面分析了结果。结果表明,本文中使用的基于词向量和LSTM的相似度计算方法优于其他两种基线方法,证明本文的研究模型在句子相似度计算上有更好的表现。(4)作物病虫害知识图谱系统功能实现。基于以上研究开发了面向农民及农业推广人员的病虫害知识图谱系统。系统使用Django框架进行了开发,使用Neo4j图数据库对作物病虫害领域的三元组关系进行了存储;在知识问答模块建立了问答库,使用MongoDB存储了三万余条领域问答对。实现的作物病虫害知识图谱系统具有实体识别、实体关系查询、知识概览、知识问答四个功能。最后针对本系统的知识问答模块,与两种领域内的问答系统做了对比实验,证明了该模块功能的实用性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/52704.html
