基于领域知识图谱的数字化学习资源推荐算法研究
这是一篇关于在线学习,知识图谱,资源推荐,特征传播,Bi-GRU,自注意力机制的论文, 主要内容为“互联网+教育”极大推动了教育信息化的发展进程,但数字化学习资源不断丰富的同时,“知识过载”成为学习知识的一大阻碍。如何为学习者厘清知识脉络、个性化构建知识体系,以达到高效学习并强化效果的目的,研究学习资源推荐算法,遴选推送适合学习者知识基础的学习资源是解决知识过载问题的有效方法。对此,论文主要完成了以下几方面的工作:(1)以学习资源为主体,知识衔接为关系,建立领域知识图谱模型。论文以机器学习课程为例,利用预训练模型Bert得到包含字、字所在句以及位置信息的特征向量,利用Bi-LSTM+CRF进行知识点实体抽取;使用模版规则的方法抽取实体间的关系;将得到的三元组存储到Neo4j中,为后续推荐算法提供知识图谱模型。(2)提出一种融合知识图谱邻居双端的在线学习资源推荐算法(Knowledge Neighbor Double Polymerization,KNDP)。以学习者为用户端,将学习者的既有知识点与新知识点之间的实体及其邻居信息聚合得到嵌入表示,捕捉学习者的个性化需求;以学习资源为项目端,利用邻居实体扩充学习资源的语义信息与嵌入表示;最后将其送入全连接层得到两者间的交互概率。通过对比实验分析,该算法在AUC指标和ACC指标上相较于最优基线分别提升了1.22%和1.56%,并在Precision@K指标和Recall@K指标上取得不同程度的提升。(3)提出一种序列信息与知识图谱邻居信息融合的在线学习资源推荐算法(Sequence Information and Knowledge Graph Neighbor Polymerization,SIKGNP)。通过KNDP算法得到学习者和学习资源嵌入表示,之后从历史数据中得到学习者与学习资源之间按照时间顺序交互的项目序列集合,将集合中元素的邻居信息传递到该实体中以丰富其语义信息;使用双向循环门控单元学习交互数据中的序列信息,利用自注意力机制得到序列的全局特征,继而将学习者向量与之拼接得到包含序列信息的学习者表征;最后送入全连接层计算两者的交互概率。通过在公开数据集MOOPer和自建数据集上对比分析可知,该算法在稀疏数据集上的性能损耗明显减少,并在各项指标均取得较好效果。综上所述,论文首先构建知识图谱模型并将学习者已访问的学习资源映射到知识图谱中的实体上,为后续推荐提供模型支持。KNDP算法能够满足学习者个性化的资源获取需求,并得到与推荐任务强相关的知识图谱嵌入向量,继而引入Bi-GRU和自注意力机制提升推荐性能。SIKGNP算法考虑了学习者的偏好、知识特点以及序列特征三方面信息,为更准确地捕获学习需求服务,提高学习资源推荐的靶向性。
基于特征传播和知识蒸馏的视频目标检测算法研究
这是一篇关于视频目标检测,局部注意,特征传播,深度可分离卷积,异步检测,知识蒸馏的论文, 主要内容为随着深度卷积神经网络的发展,基于深度学习的视频目标检测算法的检测精度和速度都取得了突破性的进展,但其仍面临着诸多挑战。比如逐帧通过大型卷积神经网络提取特征并进行特征聚合,单帧图像检测算法计算资源消耗大,不能满足实时在线的视频目标检测。本文以基于内存增强的全局-局部融合方法(MEGA)为基本的检测框架,提出一种基于特征传播和知识蒸馏的视频目标检测算法,分别从时间维度和单帧图像目标检测维度对MEGA算法进行改进。本文主要工作内容和创新性成果如下:(1)在时间维度,通过设计一种基于关键帧策略的特征传播模型对MEGA算法进行改进。MEGA算法逐帧通过大型的卷积神经网络提取特征并进行特征聚合,造成计算量的冗余。首先基于目标运动速度,采用动态分配关键帧的方法,动态地调整关键帧的选择间隔,以减少计算量并提高检测精度。然后,设计一种特征传播模型,其在不同帧的局部区域以逐渐稀疏的步幅确定空间对应关系,实现将高层特征从关键帧传播到非关键帧。在此基础上,为进一步降低最大延迟,利用异步检测模式协调关键帧的特征传播和计算。实验结果表明,经过时间维度改进的MEGA算法的检测速度和最大延迟分别为31.8fps和31ms。与原MEGA相比,检测速度获得较大提升,最大延迟明显降低。(2)在单帧图像目标检测维度,设计一种基于知识蒸馏的单帧图像目标检测算法对MEGA算法进行改进。MEGA算法中的单帧图像检测算法为基于Res Net-101的检测算法,存在参数多、网络复杂、计算量大等问题,且存在目标被重复检测或漏检的问题。首先将特征提取子网络由Res Net-101替换为Res Net-50,降低网络的计算量和参数量;然后,设计一种基于距离交并比指标(DIo U)的多尺度非极大值抑制算法,替换普通的非极大值抑制算法(NMS),降低候选框错检和漏检的可能性;此外,设计一种将基于响应和基于特征的知识蒸馏相结合的知识蒸馏方法,对模型进行蒸馏,增加模型的特征提取能力和检测精度,该方法通过将正负样本分别进行蒸馏的策略,解决正负样本不一致的问题。实验结果表明,通过对MEGA算法两个维度进行改进后,得到的基于特征传播和知识蒸馏的视频目标检测算法的检测速度和检测精度分别为52.5fps和81.5%。与MEGA方法相比,检测精度只有微弱的降低,但检测速度获得了明显的提升,实现实时在线的视频目标检测。(3)根据提出的基于特征传播和知识蒸馏的视频目标检测算法,基于Py Qt框架和Flask框架,设计并开发主要针对交通领域的车辆信息统计系统,并在UA-DETRAC数据集上对系统的性能进行了验证。
基于图神经网络的知识图谱推荐算法研究
这是一篇关于个性化推荐,知识图谱,图神经网络,特征传播的论文, 主要内容为知识图谱由于其较强的结构信息表达能力和边信息挖掘能力,被引入到学习用户兴趣偏好的个性化推荐算法中。图神经网络技术是知识图谱推荐领域的重要方法,然而图神经网络存在的过度平滑问题,导致难以构建更深层次的网络挖掘用户的长程兴趣,为推荐带来了挑战。并且,知识图谱中大多数实体只有少量的三元组,存在长尾现象,导致可用于训练的数据量较少,限制了推荐系统的性能。因此,本文提出了两种基于图神经网络的知识图谱推荐算法,分别解决图神经网络的过平滑问题和知识图谱中存在的长尾问题。具体内容如下:(1)针对过平滑问题,本文提出了一个基于知识图谱随机神经网络的推荐方法,设计了一种随机特征传播过程学习项目的特征表示,首先通过随机丢弃策略生成扰动的实体特征矩阵。然后,基于扰动特征矩阵进行特征传播,获取高阶邻域信息,并定位新的实体表示,生成数据增强矩阵。最后采用一致性正则化方法,在执行多次随机丢弃策略后生成的多个数据增强矩阵上优化预测结果。(2)针对长尾问题,本文提出了一种基于关系学习的知识图谱推荐方法,首先通过结合协作信号的知识传播过程学习用户和物品的嵌入,并利用注意力机制区分不同邻居节点在传播中的贡献。然后设计了关系学习方法学习未知项目间的关联信息,先将已经学习到的项目嵌入分别经由两个知识传播层得到新的表示,再利用新的项目表示对未知项目之间的联系进行建模,丰富项目特征表示。本文在真实的推荐数据集上进行了大量的实验,实验结果表明,本文提出的基于知识图谱随机神经网络的推荐算法有效地缓解了图神经网络的过平滑问题,提高了预测用户偏好的准确性。而本文提出的基于关系学习的知识图谱推荐算法,能够在存在长尾现象的推荐场景中,表现出准确且稳定的推荐性能。因此,本文提出的两种方法能够有效地完成个性化推荐任务。
基于特征传播和知识蒸馏的视频目标检测算法研究
这是一篇关于视频目标检测,局部注意,特征传播,深度可分离卷积,异步检测,知识蒸馏的论文, 主要内容为随着深度卷积神经网络的发展,基于深度学习的视频目标检测算法的检测精度和速度都取得了突破性的进展,但其仍面临着诸多挑战。比如逐帧通过大型卷积神经网络提取特征并进行特征聚合,单帧图像检测算法计算资源消耗大,不能满足实时在线的视频目标检测。本文以基于内存增强的全局-局部融合方法(MEGA)为基本的检测框架,提出一种基于特征传播和知识蒸馏的视频目标检测算法,分别从时间维度和单帧图像目标检测维度对MEGA算法进行改进。本文主要工作内容和创新性成果如下:(1)在时间维度,通过设计一种基于关键帧策略的特征传播模型对MEGA算法进行改进。MEGA算法逐帧通过大型的卷积神经网络提取特征并进行特征聚合,造成计算量的冗余。首先基于目标运动速度,采用动态分配关键帧的方法,动态地调整关键帧的选择间隔,以减少计算量并提高检测精度。然后,设计一种特征传播模型,其在不同帧的局部区域以逐渐稀疏的步幅确定空间对应关系,实现将高层特征从关键帧传播到非关键帧。在此基础上,为进一步降低最大延迟,利用异步检测模式协调关键帧的特征传播和计算。实验结果表明,经过时间维度改进的MEGA算法的检测速度和最大延迟分别为31.8fps和31ms。与原MEGA相比,检测速度获得较大提升,最大延迟明显降低。(2)在单帧图像目标检测维度,设计一种基于知识蒸馏的单帧图像目标检测算法对MEGA算法进行改进。MEGA算法中的单帧图像检测算法为基于Res Net-101的检测算法,存在参数多、网络复杂、计算量大等问题,且存在目标被重复检测或漏检的问题。首先将特征提取子网络由Res Net-101替换为Res Net-50,降低网络的计算量和参数量;然后,设计一种基于距离交并比指标(DIo U)的多尺度非极大值抑制算法,替换普通的非极大值抑制算法(NMS),降低候选框错检和漏检的可能性;此外,设计一种将基于响应和基于特征的知识蒸馏相结合的知识蒸馏方法,对模型进行蒸馏,增加模型的特征提取能力和检测精度,该方法通过将正负样本分别进行蒸馏的策略,解决正负样本不一致的问题。实验结果表明,通过对MEGA算法两个维度进行改进后,得到的基于特征传播和知识蒸馏的视频目标检测算法的检测速度和检测精度分别为52.5fps和81.5%。与MEGA方法相比,检测精度只有微弱的降低,但检测速度获得了明显的提升,实现实时在线的视频目标检测。(3)根据提出的基于特征传播和知识蒸馏的视频目标检测算法,基于Py Qt框架和Flask框架,设计并开发主要针对交通领域的车辆信息统计系统,并在UA-DETRAC数据集上对系统的性能进行了验证。
基于图神经网络的知识图谱推荐算法研究
这是一篇关于个性化推荐,知识图谱,图神经网络,特征传播的论文, 主要内容为知识图谱由于其较强的结构信息表达能力和边信息挖掘能力,被引入到学习用户兴趣偏好的个性化推荐算法中。图神经网络技术是知识图谱推荐领域的重要方法,然而图神经网络存在的过度平滑问题,导致难以构建更深层次的网络挖掘用户的长程兴趣,为推荐带来了挑战。并且,知识图谱中大多数实体只有少量的三元组,存在长尾现象,导致可用于训练的数据量较少,限制了推荐系统的性能。因此,本文提出了两种基于图神经网络的知识图谱推荐算法,分别解决图神经网络的过平滑问题和知识图谱中存在的长尾问题。具体内容如下:(1)针对过平滑问题,本文提出了一个基于知识图谱随机神经网络的推荐方法,设计了一种随机特征传播过程学习项目的特征表示,首先通过随机丢弃策略生成扰动的实体特征矩阵。然后,基于扰动特征矩阵进行特征传播,获取高阶邻域信息,并定位新的实体表示,生成数据增强矩阵。最后采用一致性正则化方法,在执行多次随机丢弃策略后生成的多个数据增强矩阵上优化预测结果。(2)针对长尾问题,本文提出了一种基于关系学习的知识图谱推荐方法,首先通过结合协作信号的知识传播过程学习用户和物品的嵌入,并利用注意力机制区分不同邻居节点在传播中的贡献。然后设计了关系学习方法学习未知项目间的关联信息,先将已经学习到的项目嵌入分别经由两个知识传播层得到新的表示,再利用新的项目表示对未知项目之间的联系进行建模,丰富项目特征表示。本文在真实的推荐数据集上进行了大量的实验,实验结果表明,本文提出的基于知识图谱随机神经网络的推荐算法有效地缓解了图神经网络的过平滑问题,提高了预测用户偏好的准确性。而本文提出的基于关系学习的知识图谱推荐算法,能够在存在长尾现象的推荐场景中,表现出准确且稳定的推荐性能。因此,本文提出的两种方法能够有效地完成个性化推荐任务。
基于图神经网络的知识图谱推荐算法研究
这是一篇关于个性化推荐,知识图谱,图神经网络,特征传播的论文, 主要内容为知识图谱由于其较强的结构信息表达能力和边信息挖掘能力,被引入到学习用户兴趣偏好的个性化推荐算法中。图神经网络技术是知识图谱推荐领域的重要方法,然而图神经网络存在的过度平滑问题,导致难以构建更深层次的网络挖掘用户的长程兴趣,为推荐带来了挑战。并且,知识图谱中大多数实体只有少量的三元组,存在长尾现象,导致可用于训练的数据量较少,限制了推荐系统的性能。因此,本文提出了两种基于图神经网络的知识图谱推荐算法,分别解决图神经网络的过平滑问题和知识图谱中存在的长尾问题。具体内容如下:(1)针对过平滑问题,本文提出了一个基于知识图谱随机神经网络的推荐方法,设计了一种随机特征传播过程学习项目的特征表示,首先通过随机丢弃策略生成扰动的实体特征矩阵。然后,基于扰动特征矩阵进行特征传播,获取高阶邻域信息,并定位新的实体表示,生成数据增强矩阵。最后采用一致性正则化方法,在执行多次随机丢弃策略后生成的多个数据增强矩阵上优化预测结果。(2)针对长尾问题,本文提出了一种基于关系学习的知识图谱推荐方法,首先通过结合协作信号的知识传播过程学习用户和物品的嵌入,并利用注意力机制区分不同邻居节点在传播中的贡献。然后设计了关系学习方法学习未知项目间的关联信息,先将已经学习到的项目嵌入分别经由两个知识传播层得到新的表示,再利用新的项目表示对未知项目之间的联系进行建模,丰富项目特征表示。本文在真实的推荐数据集上进行了大量的实验,实验结果表明,本文提出的基于知识图谱随机神经网络的推荐算法有效地缓解了图神经网络的过平滑问题,提高了预测用户偏好的准确性。而本文提出的基于关系学习的知识图谱推荐算法,能够在存在长尾现象的推荐场景中,表现出准确且稳定的推荐性能。因此,本文提出的两种方法能够有效地完成个性化推荐任务。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码港湾 ，原文地址：https://m.bishedaima.com/lunwen/54514.html
