行人重识别的研究与应用

这是一篇关于行人重识别,特征融合网络,行人检测与跟踪,度量学习的论文, 主要内容为行人重识别旨在对目标行人进行跨相机检索。随着视频监控网络的日益庞大,该项技术越来越受到学者们的关注。目前,行人重识别主要包含三个关键问题:行人检测,从视频流中提取高质量的静态行人图像;特征表达,从图像中提取具有跨相机不变性的特征向量;度量学习,评估特征向量之间的相似度。本文从上述关键问题入手,对行人重识别展开了研究。在行人检测问题上,针对经典的HOG+SVM算法无法兼顾检测速度与质量、存在冗余行人目标的缺点,研究并实现了一种联合运动目标检测、目标分类以及目标跟踪的行人检测与跟踪算法,满足了重识别场景下的行人检测需求。在特征表达问题上,针对LOMO特征对背景噪声鲁棒性较差、维度较高的缺点,提出了一种结合行人轮廓信息与维度优化的改进算法,得到了较原LOMO特征维度更低、区分度更高的改进LOMO特征;研究了基于深度学习的特征表达算法,针对如何有效利用改进LOMO特征和CNN特征的互补特性,提出了特征融合网络,使得改进LOMO特征不仅能和CNN特征进行自适应融合,还能反向优化CNN特征的表达能力,得到了区分度更高的融合特征。在度量学习问题上,研究了行人重识别领域常见的度量学习算法,评估了其与融合特征之间的匹配度,数据表明,XQDA度量学习算法和融合特征具有较高的匹配度。最后,在理论研究的基础之上,基于B/S架构设计了一套适用于监控场景的行人重识别软件系统,实现了监控回放、行人重识别等功能,进一步验证了相关算法的正确性与有效性。

行人重识别的研究与应用

这是一篇关于行人重识别,特征融合网络,行人检测与跟踪,度量学习的论文, 主要内容为行人重识别旨在对目标行人进行跨相机检索。随着视频监控网络的日益庞大,该项技术越来越受到学者们的关注。目前,行人重识别主要包含三个关键问题:行人检测,从视频流中提取高质量的静态行人图像;特征表达,从图像中提取具有跨相机不变性的特征向量;度量学习,评估特征向量之间的相似度。本文从上述关键问题入手,对行人重识别展开了研究。在行人检测问题上,针对经典的HOG+SVM算法无法兼顾检测速度与质量、存在冗余行人目标的缺点,研究并实现了一种联合运动目标检测、目标分类以及目标跟踪的行人检测与跟踪算法,满足了重识别场景下的行人检测需求。在特征表达问题上,针对LOMO特征对背景噪声鲁棒性较差、维度较高的缺点,提出了一种结合行人轮廓信息与维度优化的改进算法,得到了较原LOMO特征维度更低、区分度更高的改进LOMO特征;研究了基于深度学习的特征表达算法,针对如何有效利用改进LOMO特征和CNN特征的互补特性,提出了特征融合网络,使得改进LOMO特征不仅能和CNN特征进行自适应融合,还能反向优化CNN特征的表达能力,得到了区分度更高的融合特征。在度量学习问题上,研究了行人重识别领域常见的度量学习算法,评估了其与融合特征之间的匹配度,数据表明,XQDA度量学习算法和融合特征具有较高的匹配度。最后,在理论研究的基础之上,基于B/S架构设计了一套适用于监控场景的行人重识别软件系统,实现了监控回放、行人重识别等功能,进一步验证了相关算法的正确性与有效性。

基于噪声过滤的少样本知识图谱补全方法研究

这是一篇关于少样本知识图谱补全,噪声过滤,邻居编码器,度量学习,匹配函数的论文, 主要内容为现有的知识图谱都是不完备的,学者们致力于知识图谱补全的过程中发现大部分的知识图谱补全方法都需要足够多的数据,但是现实生活中的知识图谱中充满了长尾关系。为了解决上述问题,提出了少样本知识图谱补全任务,目的是在只拥有少量数据的情况下,完成知识图谱补全任务。当前少样本知识图谱补全的方法大多是基于实体的邻域信息构造出任务关系表示以完成任务,但是在汇总实体邻域信息时没有考虑到邻域中噪声信息对最终模型的影响,同时也忽略了三元组间信息的交互。为了解决上述问题提出了一种基于噪声过滤的少样本知识图谱补全方法,将少样本知识图谱补全流程分为了三个模块,噪声过滤邻居编码器模块、关系聚合器模块、匹配网络模块。其中噪声过滤邻居编码器模块负责对实体的邻域信息进行编码同时利用门控网路过滤其中的噪声信息;关系聚合器模块中利用Transformer层加深了三元组间信息的交互,也得到了一个更好的任务关系表示;匹配网络模块中受到度量学习的启发,设计了一种匹配函数,它能够求出参考集三元组和查询集三元组间的相似度得分。为了证明所提模型的效果,在少样本知识图谱补全数据集上进行了实验,在Wiki-One数据集上所提模型比基线模型在1、3、5Shot的情况下分别提升了2%、8%和3%,在NELL-One数据集上所提模型比基线模型在5Shot的情况下提升了3.3%。实验结果证明了所提模型的先进性和有效性,此外消融实验也证明了所提模型中每个模块的有效性。该论文有图11幅,表10个,参考文献68篇。

基于知识图谱的推荐算法研究

这是一篇关于推荐算法,知识图谱,图神经网络,度量学习的论文, 主要内容为随着互联网的快速发展,网络数据呈现出爆炸性的增长趋势,如何从海量异构的信息中找到用户感兴趣的内容是当前研究的热点。推荐算法作为数据挖掘的重要分支能够有效地缓解信息过载的问题,已成功应用于电子商务、新闻媒体和饮食健康等领域。以协同过滤为代表的传统推荐算法仅根据用户的评分数据进行建模,往往面临着数据稀疏和冷启动等问题。对此,研究人员提出将知识图谱作为辅助信息引入推荐算法中,通过丰富用户或项目的语义描述缓解上述问题。现有的基于知识图谱的推荐算法表现出良好的推荐效果,但仍存在一些不足,例如:1、对知识图谱中的异构信息挖掘不充分,如何选择一种合理有效的特征学习方法仍存在一些困难;2、侧重于挖掘用户和项目之间的静态相关性,忽略了随时间形成的交互序列中隐藏着用户兴趣的动态变化趋势;3、仅针对用户的单一交互行为进行建模,缺乏对用户多类型行为信息的利用,随着推荐场景逐渐多元化和复杂化,此前的方法显得有些“力不从心”。针对现有方法存在的不足,本文围绕基于知识图谱的推荐算法展开研究,主要工作如下:(1)为提取更加丰富的语义信息,提出一种基于TransD的知识图谱推荐算法(Leveraging Knowledge Graph Embedding for Item Recommendation,entity2item)。引入兼顾关系多样性和实体多样性的翻译模型TransD提取实体特征向量,将从知识图谱中学习到的辅助信息引入推荐算法为项目提供更加丰富的语义描述;采用多层感知机(Multilayer Perceptron,MLP)提取用户的特征向量,MLP使得算法的非线性拟合能力得到进一步的增强;通过交叉压缩单元将特征学习模块和推荐模块结合,丰富项目向量的语义描述,有助于提升推荐算法的性能。在三个公开的数据集上进行对比实验,结果表明提出的算法在推荐准确率上均优于基线算法,并在一定程度上缓解了数据稀疏性问题对推荐算法的不利影响。(2)在实际的推荐场景中,时间演化是影响用户偏好的一个重要因素。对此,提出一种结合用户长短期偏好的基于知识图谱的推荐算法(Knowledge-aware Sequential Recommendation with Graph Neural Networks,KSRG)。采用图神经网络的消息传播机制充分挖掘知识图谱中高阶节点的信息,并通过信息聚合的方式实现用户长期偏好建模;引入一种基于傅里叶变换的时间演化策略自动捕捉不同关系类型在推荐场景中的时间衰减程度,有助于算法更好地理解用户的短期偏好;此外,考虑到不同的关系类型对推荐任务的最终贡献不同,定义一种关系强度的计算方法为不同的关系分配不同的权重,有助于探索细粒度的用户意图;最后,结合用户长短期偏好生成推荐列表。在三个真实的数据集上进行实验,结果表明提出的算法具有更好的推荐性能。(3)用户与项目的多类型交互行为中往往隐藏着用户的偏好信息,然而当前大部分研究都侧重于建模用户单一的交互行为,忽略了多类型行为信息对推荐准确率的影响至关重要。对此,提出一种基于知识图谱和度量学习的多行为推荐算法(Metric Learning with Graph Neural Networks for Multi-behavior Recommendation,MGR)。引入时态信息编码机制将不易处理的时序信息转换为可训练的低维向量;采用图注意力机制,利用图的连通性提取高阶节点的信息并通过邻域聚合的方式更新当前节点的特征表达;设计一种多行为交互模式编码机制,以成对学习的方式捕获不同行为之间的依赖关系,从而挖掘更加深层的用户行为信息;引入度量学习改善内积作为预测函数的局限性,除了以用户为中心的度量以外,还对称地引入了以项目为中心的度量,增强了算法的信息挖掘能力,有助于提高推荐精度。在三个真实数据集上与基线算法进行对比实验,结果表明提出的算法具有更好的推荐性能。

基于知识图谱的推荐算法研究

这是一篇关于推荐算法,知识图谱,图神经网络,度量学习的论文, 主要内容为随着互联网的快速发展,网络数据呈现出爆炸性的增长趋势,如何从海量异构的信息中找到用户感兴趣的内容是当前研究的热点。推荐算法作为数据挖掘的重要分支能够有效地缓解信息过载的问题,已成功应用于电子商务、新闻媒体和饮食健康等领域。以协同过滤为代表的传统推荐算法仅根据用户的评分数据进行建模,往往面临着数据稀疏和冷启动等问题。对此,研究人员提出将知识图谱作为辅助信息引入推荐算法中,通过丰富用户或项目的语义描述缓解上述问题。现有的基于知识图谱的推荐算法表现出良好的推荐效果,但仍存在一些不足,例如:1、对知识图谱中的异构信息挖掘不充分,如何选择一种合理有效的特征学习方法仍存在一些困难;2、侧重于挖掘用户和项目之间的静态相关性,忽略了随时间形成的交互序列中隐藏着用户兴趣的动态变化趋势;3、仅针对用户的单一交互行为进行建模,缺乏对用户多类型行为信息的利用,随着推荐场景逐渐多元化和复杂化,此前的方法显得有些“力不从心”。针对现有方法存在的不足,本文围绕基于知识图谱的推荐算法展开研究,主要工作如下:(1)为提取更加丰富的语义信息,提出一种基于TransD的知识图谱推荐算法(Leveraging Knowledge Graph Embedding for Item Recommendation,entity2item)。引入兼顾关系多样性和实体多样性的翻译模型TransD提取实体特征向量,将从知识图谱中学习到的辅助信息引入推荐算法为项目提供更加丰富的语义描述;采用多层感知机(Multilayer Perceptron,MLP)提取用户的特征向量,MLP使得算法的非线性拟合能力得到进一步的增强;通过交叉压缩单元将特征学习模块和推荐模块结合,丰富项目向量的语义描述,有助于提升推荐算法的性能。在三个公开的数据集上进行对比实验,结果表明提出的算法在推荐准确率上均优于基线算法,并在一定程度上缓解了数据稀疏性问题对推荐算法的不利影响。(2)在实际的推荐场景中,时间演化是影响用户偏好的一个重要因素。对此,提出一种结合用户长短期偏好的基于知识图谱的推荐算法(Knowledge-aware Sequential Recommendation with Graph Neural Networks,KSRG)。采用图神经网络的消息传播机制充分挖掘知识图谱中高阶节点的信息,并通过信息聚合的方式实现用户长期偏好建模;引入一种基于傅里叶变换的时间演化策略自动捕捉不同关系类型在推荐场景中的时间衰减程度,有助于算法更好地理解用户的短期偏好;此外,考虑到不同的关系类型对推荐任务的最终贡献不同,定义一种关系强度的计算方法为不同的关系分配不同的权重,有助于探索细粒度的用户意图;最后,结合用户长短期偏好生成推荐列表。在三个真实的数据集上进行实验,结果表明提出的算法具有更好的推荐性能。(3)用户与项目的多类型交互行为中往往隐藏着用户的偏好信息,然而当前大部分研究都侧重于建模用户单一的交互行为,忽略了多类型行为信息对推荐准确率的影响至关重要。对此,提出一种基于知识图谱和度量学习的多行为推荐算法(Metric Learning with Graph Neural Networks for Multi-behavior Recommendation,MGR)。引入时态信息编码机制将不易处理的时序信息转换为可训练的低维向量;采用图注意力机制,利用图的连通性提取高阶节点的信息并通过邻域聚合的方式更新当前节点的特征表达;设计一种多行为交互模式编码机制,以成对学习的方式捕获不同行为之间的依赖关系,从而挖掘更加深层的用户行为信息;引入度量学习改善内积作为预测函数的局限性,除了以用户为中心的度量以外,还对称地引入了以项目为中心的度量,增强了算法的信息挖掘能力,有助于提高推荐精度。在三个真实数据集上与基线算法进行对比实验,结果表明提出的算法具有更好的推荐性能。

基于度量学习的小样本学习方法研究

这是一篇关于小样本学习,度量学习,原型网络,图神经网络的论文, 主要内容为小样本学习在机器学习领域具有重要意义,因为实际应用中经常面临只有有限训练样本的问题。为了解决这一挑战,度量学习作为一种有效的方法,已经在小样本学习中取得了显著的成功。然而,现有的度量学习方法通常假设类内样本之间对该类原型具有相同的贡献度,这一假设可能导致类原型的计算易受到离群值或噪声数据的影响。因此,本文旨在研究一种能够更好地捕捉样本结构,进而提高小样本学习性能的方法。针对这一目的,本文提出了加权原型网络和增强的加权原型网络这两个方法,以求得更好的类原型。加权原型网络是一种通过引入权重因子来改进原型网络的方法。在该方法的类原型的计算过程中,各个样本的贡献不再是等权重的,而是根据类内样本对该类原型的贡献度进行加权。这种加权策略有助于更好地捕捉类内结构,从而提高小样本学习的性能。为了进一步改进性能,本文提出了一种增强的加权原型网络。在该方法中,除了考虑了类内样本对该类原型的贡献度,还同时考虑了类间样本对该类原型的贡献度。这种调整策略有助于在特征空间中更好地区分不同类别,从而进一步提高分类性能。为验证所提方法的有效性,本文在两个具有挑战性的基准数据集mini Image Net和tiered Image Net上进行了实验。实验结果表明,与其他现有方法相比,本文提出的加权原型网络方法和增强的加权原型网络方法在各种小样本学习任务上均取得了性能的提升。此外,本文还进行了一系列实验来深入探究所提方法的各模块的作用,最终实验结果证明了本文所提方法的有效性。综上所述,本文深入研究了基于度量学习的小样本学习方法,并提出了加权原型网络和增强的加权原型网络这两个方法。实验表明,这两个方法在基准数据集mini Image Net和tiered Image Net上取得了优异的性能,为解决小样本学习问题提供了一种新的思路。

面向稀疏数据的推荐模型研究

这是一篇关于稀疏性,项目类型偏好,多准则协同过滤,矩阵填充,度量学习的论文, 主要内容为互联网的快速普及和发展促使数据量呈爆炸式的增长。协同过滤推荐技术通过分析用户属性、项目属性、用户与项目的交互记录挖掘用户的兴趣,主动提供用户可能感兴趣的内容,在缓解“信息过载”问题上起到了重要的作用。用户评分是协同过滤推荐技术的数据基础之一。通用的评分体系有单准则和多准则两种,前者只有单一总体评分,后者除了总体评分,还提供用户在各个准则上的评分。随着网站发展规模越来越大,评分数据稀疏性问题将变得越来越严重,导致基于评分数据的协同过滤推荐系统的推荐质量急剧下降。为了缓解评分数据稀疏性问题带来的消极影响,学者们展开了一系列的协同过滤算法研究。针对单准则协同过滤评分数据稀疏性问题,很多学者提出引入辅助信息,例如使用用户社交关系、用户评论、标签信息等辅助信息对用户或者项目进行更具偏向性的刻画;多准则协同过滤中,对于评分数据稀疏性问题,学者们提出采用降维的方法,但是降维会损失数量相对稀少的原始评分,造成信息浪费;对于评分聚合问题,目前多是采用线性回归的方式,没有考虑到总体评分与各准则评分之间复杂的数据映射关系;对于项目排序问题,大多数学者基于评分预测的基础上,使用高评分项目作为推荐项目,但是预测评分高的项目不一定是用户感兴趣的项目,会忽略一些在用户心中拥有更高优先级的项目。基于以上分析,本文从评分数据稀疏性问题出发,对评分预测和项目推荐任务从以下三个方面展开研究:(1)针对单准则评分数据稀疏性问题,提出结合项目类型信息的评分预测模型(Rating Prediction Combined with Item Genres Information,RPIG)。通过提取用户对项目类型的偏好以及用户均分、项目均分、用户项目类型均分这三个辅助特征来缓解评分数据稀疏性问题带来的影响。将提取出来的辅助信息构造成训练样本集,使用GBRT模型拟合训练样本,预测用户对项目的评分。在Movielens 100K和Movielens 1M数据集上与相关研究成果进行对比实验,实验结果表明,所提出的RPIG模型能有效提高评分预测的准确度。(2)针对多准则评分数据稀疏性问题和评分聚合问题,提出基于可靠因子的多准则评分聚合模型(Multi-Criteria Rating Aggregation Based on Reliable Factors,MCRF)。考虑矩阵填充技术不损失任何原始信息,能降低多准则评分数据稀疏性问题对评分预测准确度的影响。使用融合的用户相似度预填充各准则评分矩阵,为了降低填充评分误差对用户相似度计算的影响,引入可靠因子来衡量预填充评分的可信度。分别采用两种方法聚合多准则评分:计算用户准则倾向和准则评分一致性,得到用户对准则的偏好权重,通过权重聚合多准则评分;使用GBRT回归模型拟合每个用户的多准则评分信息,预测总体评分。在Yahoo!Movies数据集的三个子数据集YM-20-20、YM-10-10和YM-5-5上与相关研究成果进行对比实验,实验结果表明,所提出的MCRF模型能有效提高评分预测的准确度。(3)针对多准则评分数据稀疏性问题和项目排序问题,提出基于度量学习的多准则推荐模型(Multi-Criteria Recommendation Based on Metric Learning,MCML)。基于距离反映偏好这一假设,度量学习技术将距离视为用户对项目的偏好。学习度量空间中用户到项目的距离,翻转距离得到预测评分,以填充各准则评分矩阵来缓解多准则评分数据稀疏性问题带来的影响。在填充过的各准则以及总体度量空间中,学习得到用户到项目的多组距离,对所有距离综合排序后给用户提供Top-N推荐列表。在Yahoo!Movies数据集的子数据集YM-20-20上与相关研究成果进行对比实验,实验结果表明,所提出的MCML模型能有效提高项目推荐的准确度。

基于因子分解机的推荐算法研究

这是一篇关于推荐系统,度量学习,矩阵分解,隐式反馈,神经网络的论文, 主要内容为人们正处于一个大数据的时代,面对海量的信息资源,如何进行快速准确地信息匹配变得尤为重要,而推荐系统在实现信息生产者与消费者之间的利益均衡中扮演了重要角色。推荐系统研究的用户行为数据可分为显式反馈与隐式反馈两类。隐式反馈数据是目前推荐算法的主流训练数据,而矩阵分解算法依然是推荐系统应用最广泛的技术之一。本文对基于隐式反馈的矩阵分解方法的点积缺陷与数据集的不平衡性两方面进行改进,同时结合神经网络技术来增强模型的学习能力。本文的主要工作与贡献如下:(1)提出一种基于全加权的度量因子分解推荐算法。矩阵分解的点积不满足三角不等式,这一性质制约其推荐效果的提升。本文借鉴度量学习的距离因素,将用户与项目之间相关度的决定因素由矩阵分解的点积大小转换为度量因子分解的距离远近。同时在目前大多数公开数据集中,正面例子的数量远远小于负面例子的数量,这种不平衡的组成会影响推荐模型的准确性。本文受到在度量学习领域中流行的马氏距离的半正定矩阵的启发,提出基于用户与项目的交互信息的全加权矩阵。(2)提出一种基于神经网络的全加权度量因子分解推荐算法。因子分解技术衍生出许多经典有效的推荐算法,但是其本质上仍然属于传统线性模型,它对数据的学习能力以及交互函数的拟合能力有限。为了更好地学习挖掘训练数据的潜在非线性关系,本文引入神经网络架构对模型进行拓展,大幅增强了模型的表达能力。最后本文将以上改进技术有机结合提出全加权神经度量因子分解算法(All-Weighted Neural Metric Factorization,AWNMF),并应用于个性化项目排序任务中。本文在三个常见的真实数据集上做了大量仿真实验,结果表明本文提出的AWNMF算法模型在主流的排序评价指标上优于有竞争力的基线模型。

基于孪生网络的小样本图像分类研究

这是一篇关于小样本学习,度量学习,孪生网络,双重特征表示,加权度量的论文, 主要内容为近年来,深度学习在许多领域取得了较大的进展,引起了人们的广泛关注。但深度模型的成功很大程度上依赖高性能的计算设备,以及大量符合任务要求的带标注的数据集。相比之下,人类却可以仅靠几张图片就可以快速学习到一个新的类别。小样本学习旨在让机器学习更加靠近人类思维,拥有像人类一样快速学习的能力。孪生神经网络属于度量学习的范畴,是解决小样本问题的一种有效方法。本文针对孪生神经网络的特征表示方法和度量模块展开研究,并在公开数据集上进行实验,主要研究内容如下:(1)针对孪生神经网络使用图像级别的特征表示方法,忽视了样本的局部特征信息,导致对目标位置、类内差异及复杂背景比较敏感的问题,提出了基于双重表示的孪生网络(Dual Representation Siamese Network,DR-Siamese Net)。DRSiamese Net在孪生神经网络中引入了局部特征描述子,使用双重特征(图像级特征和局部特征描述子)共同表示图像。与图像级特征表示相比,使用双重特征表示可以在考虑图像全局特征的基础上捕获更多丰富的局部特征信息。为了充分利用图像的局部特征和全局特征信息,DR-Siamese Net分别对两种不同级别的特征度量,并使用自适应学习权重策略,给全局特征度量结果和局部特征结果加权,得到最终结果。通过在小样本基准数据集、细粒度图像数据集和农作物病害数据集上实验结果表明,DR-SiameseNet能有效提取样本的局部特征,提高了模型的泛化能力。(2)针对孪生神经网络的度量模块使用单一度量方法在背景复杂的图像上,无法有效学习更有区别的特征,以及使用类特征(类原型)度量可能忽视了样本的多样性,导致类中心偏差,提出了基于多相似度的加权度量孪生网络(Multi Similarity Weighted Metric Siamese Network,MS-Siamese Net)。MS-Siamese Net在度量模块设计了加权度量策略,通过自适应学习权重综合考虑查询集样本与类特征的度量,以及与类内样本间的度量,代替类特征度量。同时使用多种相似度准则代替孪生神经网络中单一的可学习度量。在多个度量准则上分别使用加权度量策略,共同衡量查询集样本和支持集中类的相似度。在小样本基准数据集的实验以及消融实验结果证明,使用多度量准则可以综合考虑不同度量方法的优势,学习到更有区别的特征,以及使用加权度量可以缓解类中心偏差的问题,提高分类结果。