基于深度神经网络的三元组抽取与模型可解释性研究
这是一篇关于知识图谱,三元组抽取,形式化概念,深度神经网络,可解释性,弱注意力机制的论文, 主要内容为知识图谱作为一种结构化的知识库,其利用图的数据结构将通用或领域信息表达成“实体-关系-实体”的知识三元组,以结构化的形式描述现实世界中概念、实体及其之间的关系。知识三元组的抽取是知识图谱构建或补全的基础性工作,可将非结构化的数据转化为结构化的知识。在当前大数据时代,如何以自动化或半自动化的方式从海量数据中获取知识仍是重要的研究点。随着深度神经网络在自然语言处理的各个领域获得广泛成功,其在实际应用中存在的问题也日益突显,尤其是语料规模依赖度高、既有概念知识引入不易、可解释性差等问题,限制了其在众多领域的实际应用效果。如基于深度神经网络模型的医疗诊断结果因单病种小样本语料,诊断结果的决策依据不易解释等问题限制了其临床应用推广。因此,面向深度神经网络,探索如何引入既有概念知识,以及研究模型决策特征的可解释性,是论文的核心工作。本文主要围绕三元组抽取任务及深度神经网络的可解释性研究展开,提出了融入形式化概念的端到端三元组抽取模型和基于弱注意力机制的模型可解释性研究。本文主要的工作如下:(1)针对三元组抽取任务模型多存在实体识别与关系抽取语义关联不强、实体嵌套、关系重叠,以及既有概念知识关注不多等问题,融合形式化概念与神经网络模型,提出了一种基于关系形式化概念的端到端三元组抽取方法。模型首先提出关系形式化概念标签,以统一实体与关系的语义表达,把实体识别问题转换为概念标签学习问题;其次将实体输入到关系形式化概念注意力模型,该注意力机制力图捕获关系主客体概念的连通内涵特征,即训练获得每个关系标签对应的主客体、及它们上下文依存谓词的综合特征;最后通过多个关系分类器输出每对主客体的多关系标签,实现了基于概念连通的多关系抽取;另外模型还可引入既有形式化概念的外延、内涵,以改善模型对语料标签的依赖,以及实体嵌套导致的标记难题。实验结果证明本文提出的三元组抽取模型在知识抽取上具有切实可行的效果,可改善实体嵌套、关系重叠问题。(2)针对深度神经网络在文本处理领域应用广泛但可解释性较差,其内部不易解释的问题,提出了一种基于弱注意力机制的可解释性方法。方法首先是加载预训练的Word2Vec获取文本向量表示,然后利用双向长短时记忆神经网络提取特征得到文本序列的隐藏层表示,之后经过标签注意力层为每种标签计算一个带上下文编码信息的标签向量表示,建立序列文本与标签之间的语义联系,以此捕获文本中与目标标签关联密切的重要的特征词汇,当模型指标维持稳定之后,使用弱注意力机制不断迭代训练对特征进行精化,最后为直观展示模型内部决策的过程,利用模型中的弱注意力机制可视化权重,实现长句特征的精化和关系谓词的聚焦。(3)基于上述研究,采用python编程语言,设计并开发了三元组抽取及注意力可视化系统。
基于API序列的可解释恶意软件分类系统设计与实现
这是一篇关于深度学习,恶意软件检测,自然语言处理,可解释性的论文, 主要内容为近年来,随着互联网技术的飞速发展,大量恶意软件的产生和泛滥严重影响了互联网安全。恶意软件及其多样化的变体令传统的基于人工的恶意软件检测手段难以应付,因此前沿的研究将恶意软件检测与深度学习进行了结合,构建了高效精确的分类器进行恶意软件的分类检测。但是一方面,传统的机器学习和深度学习并没有很好地去进行恶意软件的特征选择,选择的特征容易被恶意软件的变体逃逸。另一方面,多数的表现良好的恶意软件分类模型是难以解释的黑盒模型,没有办法直观地表示做出决策的原因,也就无法令人信服。所以目前恶意软件分类领域的主要需求是在构建一个高效精确的恶意软件分类器的基础上,实现了恶意软件分类模型分类结果的可解释性。本文使用了恶意软件API动态运行序列作为特征,结合了API函数语义模块,构建了基于XLNet可解释的恶意软件分类模型,并在主流数据集上取得了较为优秀的结果,同时针对真实环境进行了可解释性恶意软件分类系统的开发落地。本文的具体工作及创新点如下:(1)API函数语义提取模块设计实现。本文选择恶意软件API调用序列作为恶意软件特征,API调用序列可以用于捕捉恶意软件的独特行为模式,具有隐匿难度较高的特点。并且针对API函数命名中可能存在的语义信息,设计了API函数语义抽取模块,对API函数进行了细粒度的进一步分词,使用Doc2vec模块进行了分词后的API函数短语进行语义抽取,构建了从函数到向量的映射关系,为后续序列处理提供了更加丰富的特征信息。(2)基于XLNet的分类模块设计实现。本文使用了自然语言处理领域(NLP)的优秀自注意力模型XLNet的基础结构作为API调用序列的序列嵌入模块,XLNet结合了自回归的语言模型特点,解决了自编码语言模型点的同时,使得API序列长度可以不受模型的限制,更能保留下来丰富的序列行为信息。同时本文在XLNet的基础上缩减了模型参数和模型深度,使用了更小的参数量和更少的层数堆叠实现了优秀的分类效果,训练时间和精度都要优于基于主流的循环神经网络(RNN)模型和Transformer模型。在公开数据集Catak上进行8分类测试,将F1分数提升到0.65,AUC分数提升至0.903。此外,缩小后的模型可以更好地在较小的计算机上运行。(3)对于恶意软件分类结果的可解释性实现。本文在实现了高精度恶意软件分类器的基础上,结合XLNet架构的注意力机制,针对恶意软件分类问题设置了一套完整的可解释性体系,可以实现对模型分类结果提供可解释性的依据。本文从XLNet中提取了注意力权值矩阵,计算序列中每一个API函数对句子向量的影响程度,并且根据影响程度排序抽取出恶意子序列。研究人员可以通过API调用序列快速定位到恶意模块,针对性地进行分析。可解释性机制可以极大地提升研究人员的工作效率,提升时间和分析精度,也可以实现提升分析结果的可信程度(4)MalNet恶意软件分类系统设计开发。本研究还对系统进行了需求分析和架构设计,重点针对恶意软件地分析运行功能,API调用序列抽取和还原功能,分析结果输出等功能进行了详细的设计展示。在此基础上实现了整个系统的开发测试。系统能够结合开源沙箱Cuckoo,实现对恶意软件地全方位的分析。本文已经完成了MalNet可解释性恶意软件分类系统的研发并进行了实际测试,实现了恶意软件高效精确的分类,并且为分类结果进行了可信的解释。此外,系统的可移植性强,对计算机要求较低,有助于解决恶意软件泛滥问题,并可以辅助安全人员进行进一步分析,达到了预期目标。
知识概念驱动的可解释MOOC课程推荐方法研究及实现
这是一篇关于大规模在线开放课程,知识图谱,用户偏好,时间序列建模,可解释性,推荐系统的论文, 主要内容为随着互联网的快速发展以及人们对教育需求的不断增长,2012年出现了大规模在线开放课程这种新型的在线学习模式。伴随着大规模在线课程平台的快速发展,任何人均可上传课程到平台上来,课程数量不断增加且教学内容存在大量冗余,出现类似电商平台的信息过载问题;同时,由于在线开放课程平台缺少清晰的学习架构引导用户制定学习策略,用户难以从海量数据中选择适合自己的课程。因此,本文旨在利用推荐系统,分析用户的历史行为,有效挖掘用户偏好表示,实现在大规模在线开放课程应用场景下对用户的个性化课程推荐。然而,推荐系统的研究面临诸多挑战。一方面,在教育领域,平台上的用户规模十分庞大,但交互数据十分稀少,数据面临稀疏性的问题。另一方面,现有的研究大多将用户建模成静态表示,并不适用于课程推荐的应用场景,因为用户的学习行为是动态的连续过程,静态建模不能很好的表示用户的学习增长。最后,现有推荐系统技术大多关注推荐结果的准确度,忽略可解释性。而可解释性不仅能增强用户信任,也为模型设计人员提供改进方向。针对这些问题,本文提出以下三种方法:(1)针对数据稀疏问题,本文采用将知识概念信息融合推荐系统的策略。为此,构建一个新的数据集—Java在线学习数据集,并搭建知识概念图谱引入推荐系统,从而为推荐系统引入更多有效信息。同时为了减少知识图谱中噪音的引入,引入元路径策略,只提取知识图谱中符合需求的信息参与到推荐过程,从而提高推荐性能。(2)针对传统静态建模不适应于课程推荐的问题,本文采用时间序列建模方法,时间维度上采用门控循环单元建模,将用户的历史交互数据和用户表示共同作为门控循环单元的输入,输出下一时刻用户与每门课程交互的概率。(3)既有的知识图谱融合推荐系统研究中,基于路径的方法能为推荐结果带来可解释性。本文利用知识图谱的连通性,通过预定义的元路径连接用户和课程,针对不同的路径学习不同的权重,区分每条路径对推荐结果的贡献程度,使推荐结果具有可解释性。最后,本人用Java在线学习数据集在传统推荐模型、序列推荐模型和既有融合知识图谱的推荐模型进行对比试验。结果表明,本文提出的模型从推荐性能和可解释性上都进行了优化,实验验证了所提模型的有效性。个性化推荐系统的研究,不仅为用户获取有效信息具有重要指导意义,而且高效的推荐也能提升在线服务的市场价值,甚至对社会发展和国家安全具有重要意义。推荐系统相关理论与方法的研究结合了不同学科不同分支,对不同学科的发展起到促进作用,同时也是产学研相结合的典型代表,有利于促进产业和科研相互配合,体现综合优势。
基于学术社交网络的可解释个性化推荐算法研究
这是一篇关于学术社交网络,可解释性,个性化推荐,数据挖掘,LSTM神经网络的论文, 主要内容为随着学术社交网络平台的不断发展,信息咨询、教学视频等数字资源呈现出惊人的增长速度,如何从海量的数字资源中,根据学习者与信息之间的交互行为数据,有效、精准地发现有用信息。可解释个性化推荐系统已经成为激活学术社交数据要素潜能的关键技术,个性化推荐还能够提高学习者检索信息的覆盖面,针对不同类型的学习者提供不同的服务。经典的传统推荐算法因其实现思路简单,且稳定性较强,在工业界被广为使用。然而,这类算法通常存在冷启动、推荐的不可解释性以及适用场景单一等问题。为解决这类问题,本文依托学术社交网络平台“Scholat.com”展开研究工作,具体贡献如下:1、针对Scholat.com中存在的冷启动节点问题,提出了一种学习者个性化可解释性潜在好友推荐方法(Personalized explainable learner implicit friend recommendation method,PELIRM)。PELIRM算法的主要思想,首先,通过三度影响力的潜在好友挖掘方法获取学习者间的信任度,根据学习者的研究兴趣判断两者之间共同偏好的相似性。其次,利用学习者的签到信息确定学习者间的空间距离,筛选出同城或者邻近区域的学习者作为推荐列表。最后,借助PELIRM的可解释性,增强了对冷启动节点推荐效果的信任度。实验结果表明,PELIRM算法与其他潜在好友挖掘算法在Scholat.com数据集上相比,推荐效果具有明显提升。2、针对Scholat.com推荐内容的顺序与学习者的输入关键词信息的相关性等推荐问题,提出了一种基于自注意力机制的可解释个性化推荐方法(Explainable personalized recommendation method based on self-attention mechanism,EPRSA)。EPRSA算法的主要思想,通过学习者的历史查询序列和历史点击,将提取学习者的历史点击文档中主题偏好信息,通过自注意力机制,使其作为LSTM(Long Short-Term Memory)模型的注意力信息,预测学习者对输入问题答复的点击偏好。通过EPRSA对学习者点击偏好的预测,添加可解释性理由,增加推荐内容的精确率。实验结果表明,EPRSA算法与传统算法在Scholat.com数据集上相比,推荐效果具有明显提升。
可解释知识图谱推理技术研究
这是一篇关于知识图谱,知识推理,可解释性,强化学习,模仿学习的论文, 主要内容为为了对海量网络数据中的知识进行有效地组织和表达,知识图谱应运而生。然而,知识图谱往往存在稀疏和不完备的问题,影响着其在下游任务中的实际效用。事实上,许多缺失的知识,可以在知识图谱中已有知识的基础上挖掘推理出来。作为知识图谱补全的重要手段,知识图谱推理技术逐渐成为学术界和工业界所关注的热点。知识图谱推理技术旨在从知识图谱中已有的知识出发,通过计算机推理来挖掘其中潜在的隐含知识。一般地,仅从知识图谱中已有知识出发的推理过程,被称为封闭世界知识图谱推理;相应地,需要进一步借助外部信息来进行推理的过程,则称之为开放世界知识图谱推理。此外,在病情推断、案情推理和辅助决策等应用场景中,知识图谱推理结果的可解释性也日益受到人们的关注。因此,本文分别针对封闭世界和开放世界下的可解释知识图谱推理技术进行了探究。针对可解释封闭世界知识图谱推理,现有基于强化学习的推理方法严重依赖于人工奖励工程,人力成本高的同时限制了其适用场景及泛化性能。此外,这些现有方法完全独立地处理不同的推理任务,并没有对任务间的关联信息进行充分利用。为解决上述问题,本文提出了基于生成对抗模仿学习的知识图谱协同推理框架来对基于强化学习的现有方法进行增强。一方面,所提框架其能够对推理示例进行自动化地采样和模仿,进而自适应地调整其奖励函数和推理策略;另一方面,所提框架可以借助于多个关联推理任务之间的迁移进一步提升其推理性能。公开基准数据集上的实验表明,所提框架提升了基于强化学习的现有方法的推理性能,并减少了其对于人工奖励工程的依赖。针对可解释开放世界知识图谱推理,现有基于嵌入式表示的推理方法的可解释性和多步推理能力仍十分有限,并没有对知识图谱中所含的多步推理模式链进行考量。为解决上述问题,本文提出了一种基于强化学习的开放世界知识图谱推理方法。该方法在实现多源开放世界知识有效融合的基础上,对包含不确定开放世界知识的多步推理模式进行挖掘。公开基准数据集上的实验表明,相比于现有方法,所提方法在取得相近的推理性能的同时,赋予推理结果一定的可解释性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计工坊 ，原文地址：https://m.bishedaima.com/lunwen/47884.html
