网络威胁情报知识图谱构建与应用关键技术研究
这是一篇关于网络威胁情报,知识图谱,实体抽取,关系抽取,知识检索的论文, 主要内容为网络威胁情报在抵御网络威胁方面的价值日益凸显,运用威胁情报驱动网络安全防御已成为企业和组织的广泛共识。实际上,收集威胁情报并加以分析和共享是一种空间换取时间的有效网络安全防御措施。通过主动探测现有或潜在的网络威胁,提高面临威胁时的响应速度,可在一定程度上改变网络攻防不对称的局面,实现网络态势感知。然而,威胁情报类型复杂,应用场景多变。随着信息快速生成,威胁情报更新迅速,给安全人员实时分析利用威胁情报带来了挑战。各安全厂商发布的威胁情报通常为文本形式,包含大量的非结构化数据。同时,冗余信息和专业领域词汇的存在一定程度上降低了威胁情报的可用性。知识图谱在各领域的广泛应用为网络智能防御提供了新的思路:作为最有效的知识集成方法之一,知识图谱能够通过高效可视化安全知识,关联融合多源异构数据,对攻击进行追踪溯源,实现威胁感知,检测新型网络威胁。本文将知识图谱推广至网络安全领域,面向网络威胁情报知识图谱构建与应用过程中所涉及到的关键技术展开重点研究。针对现有威胁情报通常为来源广泛的非结构化数据的问题,设计实体抽取和关系抽取模型,改进损失函数,融入多种特征,建立知识图谱,开发基于Neo4j图数据库的知识查询系统。本文主要工作如下:1.提出融合Focal Loss的网络威胁情报实体抽取方法。网络威胁情报中蕴含丰富的威胁情报知识,多以自然语言文本的形式存在,抽取其中关键要素是构建知识图谱的重要基础。然而,威胁情报文本通常囊括了网络攻击类型、攻击实施手段、网络犯罪组织等具有高度领域特征的词汇,且样本标签数量参差不齐,导致现有实体抽取方法无法取得令人满意的效果。为此,针对威胁情报的专业词汇问题,在模型中增加单词和字符特征。同时,为缓解少数类样本性能受限的问题,提出一种融合Focal Loss的实体抽取模型,引入平衡因子和调制系数,平衡正负样本比例,提高困难样本损失权重,提升威胁情报实体抽取的性能。2.提出特征增强的文档级网络威胁情报关系抽取方法。关系抽取在挖掘威胁情报文本关键威胁要素之间关系及构建威胁情报知识图谱中发挥着重要作用。然而,现有关系抽取模型在威胁情报领域面临诸多挑战。为解决威胁情报开源数据集缺乏的问题,从博客、论坛等网站收集威胁情报并进行人工标注,构建威胁情报本体,规范威胁情报知识图谱中的实体和关系。针对威胁情报文档结构复杂的问题,设计一种特征增强的文档级关系抽取模型,充分利用文档中的信息。同时,引入教师-学生模型,实现知识蒸馏。利用过采样方法缓解威胁情报样本不平衡问题,与主流模型相比大幅提升模型性能。3.提出融合多模型的网络威胁情报信息抽取方法。威胁情报中相关实体分散在整篇文章中,彼此间关系错综复杂,人工分析耗时耗力,难以实时跟进更新。为此,提出融合多模型的网络威胁情报信息抽取方法,将零散分布、多源异构的安全数据组织起来,主要包含实体抽取、共指消解、关系抽取和知识图谱构建四个关键步骤。在实体抽取任务中,不同单词对实体的判别有不同程度的贡献,引入自注意力机制,获得对实体重要的向量表示。在共指消解任务中,结合上下文信息与提及嵌入,引入卷积神经网络,提取提及表示局部特征,与全局特征融合,增强表示能力。在关系抽取任务中,融入词性、宽度等多种特征,增强嵌入表示。抽取出结构化的三元组数据,填充入知识图谱中,展示实体及其之间的关联关系。4.开发基于网络威胁情报知识图谱的知识检索系统。威胁情报包含丰富的知识,分散在文本的各个位置,给信息检索带来了挑战。为高效获取其中知识,开发一个基于网络威胁情报知识图谱的知识检索系统,该系统能够分析处理的自然语言提问包括属性查询类、节点查询类、反向查询类、属性比较类四种类型,针对不同意图设计相应模板,接受用户的自然语言提问。将问句转换为Cypher查询语句,输入Neo4j图数据库中检索结果,生成人类可读的自然语言答案,大大简化搜索流程,降低了获取碎片化威胁情报知识的难度。
水上交通事故知识图谱的构建与应用
这是一篇关于水上交通事故,知识图谱,命名实体识别,知识检索的论文, 主要内容为随着我国水路运输业持续稳定地发展,水域中航行的船舶数量逐渐增多,航线通航密度也不断增大。这直接导致我国水上交通安全的风险日益攀升,给人们的生命和财产安全构成了巨大的威胁,对社会和经济的发展产生了一定的制约作用。如何精准高效地分析预测水上交通事故、提升水上交通安全等级成为近些年的研究热点。然而,因存在水上交通事故信息库不完备的桎梏,当前相关研究在获取水上交通事故数据时需耗费大量精力,一定程度上阻碍了水上交通安全领域发展。因此,对水上交通事故数据进行有效组织和高效管理显得尤为重要。知识图谱作为一种新兴的知识管理形式,能够将独立、分散的水上交通事故信息组织起来,凸显事故及事故要素之间的联系,为提高水上交通事故数据的系统性和关联性提供了新思路。本文对水上交通安全领域的特征进行了全面的分析,提出了水上交通事故知识图谱的构建流程和整体框架,并在模式层定义、实体抽取方法和知识检索等方面展开重点研究。首先,研究结合水上交通事故领域和数据资源的特点,定义了19种实体、10类关系,并对实体的属性类型进行了详细界定。其次,研究针对水上交通事故调查报告模板多样、文本异构的特性,分别采取基于规则匹配的方法和基于BERT-BiLSTM-Att-CRF的方法从不同结构的语料中抽取出实体,以提高实体抽取的精度和广度。通过与其他实体识别主流模型进行对比,验证了基于BERT-BiLSTM-Att-CRF方法的有效性。最后,研究在水上交通事故知识图谱的基础上,实现了水上交通事故知识的检索,深化了知识图谱在水上交通事故知识管理中的具体应用场景。本研究通过构建水上交通事故知识图谱,形成了事故要素相互连接的知识网络,从而为用户提供智能、直观的知识检索服务。研究结果表明,知识图谱不但可以有效组织水上交通事故数据,还能够为进一步的语义搜索和知识问答等应用提供较为全面的数据支撑,对船舶航行的安全管理十分有意义。
基于知识图谱的城市交通出行大数据分析及应用
这是一篇关于知识图谱,城市交通出行,知识推理,命名实体识别,知识检索的论文, 主要内容为随着信息化时代的到来,每一个设备、每一辆汽车、每一个人都在创造大量的交通信息,如公共交通出行的刷卡记录、车辆行驶的轨迹数据等,但这些数据之间融合不足、缺乏紧凑有效的组织结构、尚未形成完备的交通知识体系,难以进行深层次的数据挖掘与开发智能应用。因此需要利用人工智能技术来有效融合多源的交通数据,挖掘数据潜在的价值,为城市中的交通出行者提供便捷的服务以及辅助交通管理者进行管控策略的制定,从而提升城市居民的出行质量。知识图谱以图结构对数据进行存储和表达,数据调取速度更快,可实现秒级响应,并可处理复杂多样的关联关系分析,更有利于知识查询。除此以外,知识图谱还具有学习能力,可通过知识推理挖掘隐含知识。因此本文基于知识图谱对城市交通出行大数据进行分析,并进一步将其应用到交通出行场景中。本文主要工作如下:首先,采用自顶向下的方式构建交通垂直领域知识图谱,完成对交通领域内实体和关系的划分,利用知识图谱的模式层实现知识的复用与共享。并将初步构建的城市交通出行知识图谱的数据层存储在图数据库Neo4j中。本文所构建的知识图谱包括城市轨道交通出行知识图谱与城市道路出行知识图谱。其次,利用基于知识表示学习的知识推理模型,补全三元组中缺失的头实体或尾实体数据,并挖掘两个交通实体之间潜在的关联关系,以丰富知识图谱中所包含的知识。如本文实现了城市轨道交通通勤人员的起讫点补全、城市道路交通态势与兴趣点之间的关系挖掘。本文通过链接预测任务验证了推理模型的有效性。最后,基于知识图谱实现交通知识的高效检索,开发面向交通出行场景的智能问答系统,其中基于深度学习方法对自然语言问句进行语义解析,并以可视化的形式展示从图数据库中查询得到的结果。基于知识图谱提供交通出行查询服务,包括基于图算法的最短路径查询和基于出行链相似性的伴随者查询。
面向医药行业的知识库构建与知识发现
这是一篇关于网络爬虫,知识库,语义分析,知识检索的论文, 主要内容为随着Web 2.0的蓬勃发展,网络数据的容量呈爆炸式增长,人们被迅速淹没在数据的海洋里,这些数据不仅包含大量的结构化数据,还包含大量的半结构化和非结构化数据。数据的剧烈增加不仅带来了更多有用的信息,同时也增加了获取知识的难度。在医药领域,医药相关的信息也日益增多,通过构建医药知识库可以把看这似杂乱的数据统一规整并有效使用。同时,基于医药知识库进行知识检索,可以理解用户输入并精准地获取知识,大大增加用户的购药体验。如何高效的构建医药知识库并基于该知识库进行知识检索是本文研究的内容。本文提出了面向医药领域的知识库构建方法并实现了基于该医药领域知识库的知识检索。本文的主要工作包括以下两部分,一是构建面向医药行业的知识库,从垂直网站、百科类站点以及医药电商站点获取数据,经过数据清洗,采用基于规则与词典的方法进行命名实体识别,采用基于统计机器学习方法进行关系抽取,然后进行知识加工,最终构建一个医药领域知识库;二是基于医药领域知识库进行知识检索,首先基于HMM和CRF的方法完成对输入的语义分析,然后构建知识检索模型完成知识检索并展示应用情况。通过实验表明基于HMM和CRF的分词方法具有很高的准确率和召回率,通过应用情况展示分析表明知识检索有非常良好的效果。本文中构建的面向医药行业的知识库已经正式投入项目中使用,是智能医药系统的核心组成部分。本文提出的面向医药领域的构建和知识发现方法,可以很大程度上支撑智能医药服务,向用户提供更加有效并且人性化的服务,具有很广阔的应用前景。
企业知识分享平台的设计与实现
这是一篇关于企业知识管理,知识库,Mahout,Solr,知识检索,知识推荐的论文, 主要内容为随着知识经济时代的到来,越来越多的企业意识到了有效的知识管理对于丰富员工认知,提高工作效率,进而促进企业发展,提升企业核心竞争力的重要作用。但是,目前在中小型企业内部,大多采用一种传统的手工知识管理方式,知识管理普遍存在文档存储管理困难,存储结构难以划分,查找效率缓慢以及无法协作共享的问题。同时,基于此种方式也不利于企业内部显性知识和隐性知识的相互转化以及知识资源的整合。显然,这种方式已不再适用于当下企业知识管理的需求。基于此种情况,提出了企业知识分享平台的设计与实现需求,计划建立一个实现知识的获取,存储,共享和应用的综合信息管理平台。本文依据实际项目需求,设计和实现了企业知识分享平台,不仅解决了在中小型企业内部知识文档统一存储的问题,同时通过对知识库,专家页面以及知识交流社区子系统的设计有效实现了知识信息的录入、采集、分类、共享、推荐以及检索和展示。系统采用B/S架构,基于开源框架SSM(Spring,Spring MVC,Mybatis)完成了平台整体的架构设计。实现了登录注册、应用/咨询管理、知识管理(包含知识组织,知识分类,知识审批以及知识应用)、专家任务处理以及角色、权限管理等功能模块。系统采用分层架构,基于面向服务的体系结构理念将服务层抽象出来对外提供服务,供其他系统调用,可以实现灵活的分布式部署。同时为了提升企业知识库的高效利用以及用户体验,使用Apache Software Foundation(ASF)旗下的开源项目mahout实现了相关知识的智能推荐,使用一个开源的Java垂直爬虫框架Web Magic实现了最新咨询推荐。进行了Redis服务搭建,为平台相关模块添加缓存功能,实现了Solr服务来搭建基于Lucene的全文搜索服务器,配合IKAnalyzer中文分词器来实现知识检索功能。最后,作者通过对平台的整体测试结果以及实际运行情况分析,证明了企业知识分享平台对于中小型企业知识管理的有效性和实用性。本文所做工作有效改善了企业的经营绩效,增强了企业文化氛围,学习氛围,提升了企业的核心竞争力以及技术创新。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码港湾 ，原文地址：https://m.bishedaima.com/lunwen/46653.html
