分享6篇关于持续学习的计算机专业论文

今天分享的是关于持续学习的6篇计算机毕业论文范文, 如果你的论文涉及到持续学习等主题,本文能够帮助到你

面向开放领域的实体关系抽取方法研究

这是一篇关于实体和关系联合抽取,异构图神经网络,开放集分类,深度聚类,持续学习的论文, 主要内容为随着互联网的高速发展,各种各样的事实、常识等知识日益增长。实体关系抽取作为抽取这些知识的核心技术,吸引了越来越多的研究者关注。现阶段实体关系抽取已经用于构建知识图谱、自动问答等诸多场景。然而,目前实体关系抽取技术大多在封闭域的数据上进行研究,并且在现实场景中关系事实的表达方式更加多样,实体关系可能是随时间而不断变化的,且新关系数量仍在不断增长。现有的方法很难解决开放领域下所面临的标注样本少、标注成本高、实体关系种类繁多等挑战。因此,本文面向开放领域,基于深度学习方法进行了实体和关系联合抽取、开放关系检测、开放关系发现以及持续关系学习的相关研究,主要研究内容如下:(1)提出了一种基于表示迭代融合的实体和关系联合抽取方法。现有的研究在提取实体之前很少考虑实体之间可能存在的关系信息,这可能会导致大多数提取的实体不能构成有效的三元组。本文提出将关系信息作为先验知识引入,用于减少对语义无关实体的提取,从而减少对三元组的冗余提取。首先,将句子中的单词和预定义的关系建模为图上的节点。然后,基于异构图神经网络的表示迭代融合将两种语义节点进行迭代语义融合,来获得更适合于关系抽取任务的节点表示。最后,模型利用最终更新的节点表示进行关系抽取。本文在两个公开的关系抽取基准数据集NYT和Web NLG上评估了提出的方法。实验结果表明,该方法能够有效地抽取实体关系三元组,并在两个数据集上优于最新的方法。此外,提出的方法也适用于关系分类任务,在Sem Eval 2010 task 8数据集上其性能比以往的方法有显著提升。(2)提出了一种基于动态阈值的开放关系检测方法。现有的关系分类方法在处理没有先验知识的未知关系时存在局限性。本文通过动态阈值检测未知关系的同时对已知关系进行准确分类,其中阈值由样本自身的特征生成。首先,模型根据输入的句子和注释的实体将其编码为关系表示向量。然后,通过拼接关系表示向量和关系嵌入,经过多层感知机输出的未归一化的概率。最后,通过拼接关系表示向量和零向量来生成动态阈值,未归一化的概率将与该阈值进行比较,使用该阈值确定输入实例是否属于未知类。此外,为了获得更好的动态阈值学习效果,采用流形混合和实体边界滑动两种负样本生成技术,使阈值学习对开放关系样本具有更强的鲁棒性。在两个基准数据集上进行的实验表明,该方法的性能明显优于目前的先进方法,并具有较强的鲁棒性。(3)提出了一种基于自加权损失的开放关系抽取方法。最近的开放关系抽取工作利用从标记数据中学习到的关系语义知识来聚类无标记的关系实例。然而,这些知识通常没有被充分利用,而且在转移到另一个领域时表现得很差。为此,本文提出一种半监督学习范式,该方法利用度量学习从标记数据中学习关系语义知识,然后通过对无标记数据的无监督学习来识别新的关系。首先,编码器是预先训练的,它利用标记数据中的关系实例来学习关系表示。此外,为了更好地学习关系表示,提出了一种基于对的自加权损失算法。利用自调整梯度作为权重挖掘信息实例。然后,将从无标签数据中抽取的关系表示用k-means聚类得到伪标签。最后,对伪标记数据交替进行聚类和度量学习。在三个基准数据集上进行的实验结果表明,Semi ORE可以显著超过最先进的基线,并在不同领域展示出强大的知识转移能力。(4)提出了一种基于一致性表示学习的持续关系抽取方法。现有的基于记忆的持续关系抽取方法往往会过度拟合记忆样本,并且在不平衡的数据集上表现不佳。本文在回放记忆时通过对比学习和知识蒸馏来保持关系嵌入的稳定性。具体地,首先使用基于临时记忆的监督对比学习来训练每个新任务,以便模型可以有效地学习关系表示。然后,对记忆库中的样本进行对比回放,通过记忆知识蒸馏使模型保留历史关系的知识,防止旧任务的灾难性遗忘。所提出的方法可以更好地学习一致性表示,以有效地减轻遗忘。在Few Rel和TACRED数据集上的实验结果表明,本文提出的方法明显优于最先进的基线,并且在不平衡的数据集上产生了很强的鲁棒性。实验证明本文提出的方法在相应的研究内容上均取得了较优的性能,通过解决开放域场景下存在的核心科学问题,促使基础研究成果走向应用。提出的研究方法可赋能构建知识图谱和知识驱动的自然语言处理,并为人机交互的深入研究奠定基础。在本文的最后也总结了在研究过程中遇到的问题以及对未来工作的展望。

基于机器阅读理解的肺癌诊断文本结构化研究与应用

这是一篇关于抽取式阅读理解模型,多任务学习,持续学习,知识蒸馏的论文, 主要内容为电子病历中记录的病理诊断是医疗领域中重要的信息源。病理诊断通常是非结构化的病症描述和诊断结论文本,不易挖掘其中蕴含的重要信息。病理诊断文本的结构化对于辅助临床决策、疾病的预防和早期诊断具有重要的意义。然而,肺癌诊断文本结构化任务仍然面临着以下两个挑战:(1)需抽取的属性类型多,数据对于每个类型的属性描述信息少,不利于所有属性的抽取。(2)模型无法适应可能出现的新的属性抽取需求。针对以上两个问题,本文的工作如下:(1)提出了一种基于机器阅读理解的多任务属性抽取模型,实现对肺癌诊断文本中的属性抽取。首先,为了解决训练数据不足的问题。使用了问题与诊断文本拼接的方式构造模型的训练数据,通过将不同类别的属性问题与对每条肺癌诊断文本进行拼接,实现了对训练数据的扩充;其次,为了解决模型对答案边界抽取错误的问题,通过在问题中加入对应答案的候选词,给予模型更多关于答案边界的提示信息,使得模型更充分的考虑问题与文本的上下文语意,从而更精准的确定答案的边界位置;最后,为了提高模型整体的属性抽取效果,采用了多任务学习的思想,设计合适辅助任务和主干任务,同时进行任务训练,任务间共享底层模型编码信息,辅助任务对主干任务进行权重约束,使得其与单任务的机器阅读理解属性抽取模型相比,属性抽取效果得到明显提升。(2)提出了一种基于机器阅读理解的持续属性抽取模型,实现了只使用少量标注新属性的数据对模型进行增量更新。由于医疗领域数据安全性问题,标注过的数据不应该再对新属性进行补充标注。若对新数据进行全量标注时间成本高,且随着标注量的增大,标注错误也会随之累积,不利于后续模型训练。为了解决模型不能适应新的属性抽取需求问题,同时避免对数据进行全量标注。本文在传统机器阅读理解模型的基础上引入持续学习思想,只需要对数据中出现的新属性进行标注,然后在该数据上进行训练即可实现对模型的更新。对于旧的属性抽取知识,利用学习过该知识的教师模型蒸馏知识到学生模型,对学生模型中旧的属性抽取知识进行巩固,对抗灾难性遗忘。对于新的有标注属性,学生模型直接根据真实标签进行学习。通过该方案可以使得学生模型同时掌握新旧属性的抽取知识,解决了机器阅读理解模型不能增量更新的问题。(3)在以上提出模型的基础上,本文设计并实现了一个基于B/S架构的肺癌诊断文本结构化原型系统。该系统能够从非结构化的肺癌诊断报告中抽取出指定属性的属性值,并结合肺癌诊断数据自身规则形成结构化的病理诊断数据。同时,该系统还引入了持续学习的思想,支持内部预置模型更新,以适应新增加的属性抽取需求。

基于元学习的关系抽取系统设计与实现

这是一篇关于关系抽取,元学习,少样本学习,持续学习的论文, 主要内容为关系抽取是信息抽取技术中的一项重要任务,也是知识图谱构建过程中的重要环节,其目的是从非结构化的文本中抽取出结构化的三元组知识。这一技术有着极大的商业价值和落地需求,然而现有的关系抽取系统在落地实现的过程中,普遍面临着两大问题的挑战——冷启动数据需求问题和运行中增量数据处理问题。近年来,越来越多的研究者开始关注这些问题,少样本关系抽取技术在应对冷启动数据需求问题上取得了一些不错的成果。但现有的少样本关系抽取方法都是从样本出发进行关系建模,这可能会在极少量样本的情况下出现关系建模偏差从而影响模型性能。而针对增量数据处理问题进行研究的持续关系抽取方法目前处在起步阶段,研究成果较少,且存在灾难性遗忘、次序敏感等问题,尚有较大提升空间。基于此,本文提出了一种少样本关系抽取模型和一种持续关系抽取模型。本文贡献主要包括:(1)提出了一种元学习多分类器集成的关系抽取框架,利用元学习方法训练分类器初始化参数,使其能够应用于少样本关系抽取任务;(2)提出了一种利用外部知识图谱建模关系语义表示的方法,并利用此方法获取多重训练标签,重构元训练任务序列,提升了元学习少样本关系抽取模型的性能。(3)提出了一种元学习持续关系抽取框架,结合模型交互信息和任务语义信息进行负采样,并使用实例表示筛选记忆实例,提升了模型抗灾难性遗忘和抗次序敏感的能力,在多个数据集上获得了最优的性能。(4)分析了关系抽取系统应该满足的功能和非公能需求。在此基础上,提出了一个关系抽取系统的详细设计方案,并对该系统进行了实现。综上所述,本文提出了一种基于知识增强的元学习少样本关系抽取模型和一种基于关系感知的元学习持续关系抽取模型,设计并实现了满足实际需求的关系抽取系统。

基于边云协同的异常检测系统的研究与实现

这是一篇关于异常检测,边云协同计算,神经网络,持续学习的论文, 主要内容为随着边缘计算技术的发展,边侧设备可以提供越来越强的处理能力,从而可以支持在边侧基于端设备采集的运行状态数据进行异常检测。相比依赖云平台进行异常检测,在边侧进行异常检测可以有效地降低数据处理时延,并分担云平台的数据处理压力。然而传统的边侧异常检测主要依赖规则判定实现,难于满足复杂异常的检测需求。本课题旨在设计并实现基于边云协同的异常检测系统。该系统通过边云协同完成基于运行状态数据的异常检测。端设备采集的实时运行数据首先由边侧设备接收并进行基于规则和模型的综合分析以检测异常。基于规则的数据分析模块利用规则引擎Drools对数据进行浅层分析,基于模型的数据分析模块对数据进行深层分析。云平台接收异常结果并将告警消息发送给管理人员。在基于模型的数据分析模块中,本文提出了基于边云协同计算的支持模型持续优化的异常检测方法(A Deep Learning Framework for Continually Learning in Anomaly Detection based on Cloud-Edge Computing,CLAD)。该方法同时考虑了数据的最小传输和边云两处模型的连续调整。在边侧设计了一种基于自编码器和岭回归分类的快速异常检测方法,采用较少的参数提取了丰富的数据特征,并且利用云侧模型检测的结果调节边侧模型的训练。在云侧提出了一种基于多头注意力机制和前馈神经网络的高准确性异常检测方法,增加了输入信号的局部区域特征以丰富模型关注的信息量。经过实验验证,CLAD方法在模型性能上高于CTF、OmniAnomaly、USAD 等基线方法。本文首先介绍了基于边云协同的异常检测系统的研究背景;而后结合现有的异常检测系统的调研分析提出了本系统需求;随后详细介绍了边云协同场景中的支持模型持续优化的异常检测方法;接着阐述了异常检测系统的设计与实现;最后对系统进行一系列的功能测试和非功能测试以验证系统的有效性。测试结果表明,该系统整体运行流畅,可用性较高,可投入现实场景中进行使用。

基于深度学习的农作物病害图像识别研究

这是一篇关于图像识别,迁移学习,通道剪枝,知识蒸馏,持续学习的论文, 主要内容为中国农作物种类繁多,农作物产量和质量影响着经济发展和农民收入,农业健康稳定发展一直是国家追求的目标。因此快速准确识别农作物病害种类并及时给予准确防治至关重要。传统农作物病害图像的识别主要靠少部分农业专家从病害图像的颜色和形状进行识别,这样既费力效率又低,也比较主观,容易导致误判错过最佳治疗时间。而现有农作物病害图像识别研究方法主要是从图像背景分割、机器学习相结合进行病害识别,但图像背景分割难度大、数据样本少,容易造成识别不准确。基于以上限制,本文提出一种基于卷积神经网络(Convolutional Neural Network,CNN)算法的农作物病害识别方法研究。本文研究了几种农作物病害图像,以玉米病害5类、番茄病害5类、土豆病害3类和草莓病害2类为实验研究对象。针对4种农作物病害图像数据样本不足,会造成网络过拟合,引入了迁移学习算法;针对卷积神经网络内存大、参数多问题,引入通道剪枝和知识蒸馏算法解决;针对卷积神经网络灾难性遗忘问题,引入了持续学习算法加以改善。最后开发了PC端界面用于农作物病害自动检测。主要工作如下:(1)提出基于改进VGG16的迁移学习和模型压缩玉米病害识别方法。针对玉米病害图像样本不足的问题,首先对数据集进行增强扩充;其次,借助迁移学习,在大型公共数据集Image Net训练网络模型,本文先预训练VGG16-INCE网络模型,即VGG16和Inception模块;然后保留预训练网络特征参数,实现对常见玉米病害图像训练、识别。实验表明:在Image Net数据集上,利用迁移学习对病害图像的识别精度达到93.38%。在迁移完成后,结合通道剪枝和知识蒸馏的方法对模型压缩,压缩后的模型再利用迁移学习对玉米病害图像识别。实验表明:压缩后对病害图像的识别精度达到92.40%,准确率下降了0.98%,模型大小由73.90MB压缩到9.45MB,参数量减少87.80%。本方法能够在小样本场景下确保识别准确率,并进一步实现模型轻量化。(2)提出基于增加模型通用性农作物病害识别方法。针对于模型灾难性遗忘等问题,导致对农作物病害识别率低。该方法引入持物学习中EWC方法,使得模型在训练农作物时保留重要参数,减缓之前任务灾难性遗忘现象,能够提高农作物识别准确率。通过实验表明在无加入EWC时,随着农作物病害种类的增加,网络模型的识别准确率越低,而本文提出方法能够持续实现对多种农作物病害图像识别,识别结果比没加入持续学习结果高,本文通过对三种农作物病害数据实验,验证了本文方法的有效性。