基于知识蒸馏的联邦学习

这是一篇关于联邦学习,知识迁移,差分隐私,对抗蒸馏的论文, 主要内容为数据在人工智能时代中扮演着重要的角色,机器学习模型离不开数据的支撑,智慧推荐系统、医疗影像识别等应用的成功依赖于大量的训练数据。然而在实际生产中,数据分散在用户的智能终端设备和企业的数字存储引擎中,由于隐私安全和法律法规的限制,数据的收集整合和开发利用成为亟待解决的难题。为了破解这一难题,联邦学习技术在保证不直接共享本地数据的前提下执行多个参与方联合建模,促进了分布式数据源的互联互通。联邦知识蒸馏作为一种新颖的协作学习方式,将联邦系统内多个参与方的本地模型的知识迁移到全局模型中,相比参数聚合的联邦学习模式具有很大的优势,有效缓解了联邦系统面临的数据异构和隐私安全等问题。本文针对当前的联邦知识蒸馏算法中隐私预算消耗较多和需要公共数据两大挑战开展研究,结合联邦服务器中是否存在无标签公共数据的两种实际场景,提出全新的联邦知识蒸馏方案:(1)针对联邦服务器中存在无标签的公共数据的场景,提出基于逆k近邻投票的联邦知识蒸馏算法(Reverse k-Nearest Neighbors Voting,RKNN)。RKNN改进了分布式环境中为公共数据投票的方案,在公共表征空间中让一个隐私样本为距离最近的k个公共样本投票。本文将逆k近邻投票问题归约为分桶的稀疏向量求和问题,并且给出相应的集中式差分隐私和本地差分隐私保护机制。通过分析可知,RKNN能降低查询公共样本标签时的敏感度,从而大幅度减少扰动投票结果消耗的隐私预算。实验表明,RKNN相较于现有的联邦知识蒸馏方案,隐私保护效果提高了10倍以上。(2)针对联邦服务器中不存在公共数据的场景,提出基于对抗蒸馏的联邦知识蒸馏算法(Federated Adversarial Knowledge Distillation,Fed AKD)。Fed AKD在进行联邦模型训练时,不需要使用公共蒸馏样本和上传本地模型参数。具体地,联邦系统中每个参与方除训练本地模型以外,还需要在本地同步维护一个全局生成器和全局分类器,全局生成器和全局分类器通过对抗蒸馏的方式从分布式的本地模型中迁移知识,蒸馏样本由全局生成器产生。在Fed AKD中,服务器提供聚合假样本的分类概率的功能,与客户端的通信内容是假样本的判别结果。实验证明,Fed AKD相比其它的联邦学习算法,在客户端数据异构时有着良好的测试性能表现。

基于稳健优化的开放世界目标检测方法研究

这是一篇关于开放世界目标检测,图特征金字塔网络,平坦极小值,知识迁移,稀疏目标检测的论文, 主要内容为常规的目标检测方法通常设定在封闭世界的假设中,在特定的数据集上进行训练,学习固定数量的目标类别,并应用于特定场景。随着信息时代的发展,产品更新换代的速度加快,传统的目标检测算法难以在实际场景中灵活应用。基于此,开放世界目标检测(Open World Object Detection,OWOD)这一设定于2021年被Joseph KJ等人首次提出,其突破了主流基准中的封闭假设,将目标检测模型应用到开放领域中。该设定的主要任务是:(1)在没有明确标注时,将尚未学习的目标判别为“未知”;(2)当对应标签加入后,逐渐地学习已引入的“未知”目标的类别,且不遗忘之前学习到的类别信息。由于OWOD的设定比现有的封闭世界静态学习设置更贴近实际场景,因此受到了研究学者的广泛关注。为了更好的提升开放世界目标检测的性能,本文利用深度学习方法做了如下工作:(1)针对现有的开放世界目标检测方法ORE(Open woRld object d Etection)存在的未知目标召回率低以及增量学习的灾难性遗忘等问题,研究了基于图特征金字塔和稳健优化的开放世界目标检测方法(Adjustable Robust Optimization of ORE based on Graph Feature Pyramid,GARO-ORE)。该方法首先利用Graph-FPN中的超像素图像特性,帮助模型准确定位未知目标并获取丰富的语义信息;然后利用稳健优化方法对不确定性综合考量,极大限度地保证模型在学习新类别的同时避免遗忘先前学习到的类别知识;最后,采用基于知识迁移的分类权值初始化方法提高模型对新类别的适应性。在OWOD数据集上的实验结果表明,GARO-ORE在未知类别召回率上取得较优的检测结果,在10+10,15+5和19+1三种增量目标检测任务中,其m AP指标分别提升了1.38%,1.42%,1.44%。(2)针对GARO-ORE中只考虑了提升模型的检测性能,而忽略了模型的检测效率,研究了基于GA-RPN的轻量化开放世界目标检测方法(Lightweight open world Object detection based on GA-RPN,GAR-LORE)。该方法首先利用深度可分离卷积替换传统卷积来优化特征提取网络;然后利用基于空间注意力机制的GA-RPN提供了一套固定数量的候选区域,轻量化提取出图像中的目标候选区域;最后采用DIOU优化目标回归。在OWOD数据集上的实验结果表明,GAR-LORE能够较好的提高未知目标检测的召回率,并且能够轻量化完成OWOD任务。(3)从软件工程的角度出发,开发了一套开放世界目标检测系统,对本文所提出的开放世界目标检测模型进行封装,采用B/S架构模式设计系统,使用Layui+django+Spring Boot等技术进行系统开发,将开放世界目标检测应用于现实场景中。

基于深度协同交叉网络的推荐系统

这是一篇关于推荐系统,数据集成,深度矩阵分解,协同交叉网络,知识迁移的论文, 主要内容为在当今信息大爆炸的时代,各式各样的信息令人目不暇接。这不可避免地导致信息过载,使得人们在检索自己感兴趣的信息时存在一定困难。因此个性化推荐系统的重要性不言而喻。现有的推荐算法大多数都基于协同过滤,而协同过滤算法的主要不足之处在于其难以应对数据稀疏性问题。此外,协同过滤算法仅利用用户与物品的交互信息进行建模,其所挖掘的隐式信息仍不够充分。大多数相关方法仅关注显式或隐式信息中的一种,导致推荐的准确度并不高。针对上述问题,提出了一种基于数据集成和深度协同交叉网络的推荐算法。首先利用用户对物品的评分以及物品的标签信息计算用户对于标签的偏好,据此预测用户对物品基于偏好的印象分。然后从已有数据中挖掘出用户的社交关系信息,具体做法是先计算用户相似度,随后为每个用户定义可信用户集,通过计算第三方评分者与该可信用户集的相似度,预测出用户对物品基于社交关系的印象分。最后将上述两种印象分进行加权平均,得出社交偏好综合分,实现数据集成。在网络结构方面,将现有的协同交叉网络与基于深度矩阵分解的神经网络进行融合。融合后的网络通过任务关系矩阵实现两个基础网络之间的知识迁移和共享,并以完全相同的用户集和互不相交的物品集作为两个基础网络桥接的工具。最终,在推荐结果不重复的前提下,两个基础网络在训练时能够相互协作。在推荐系统常用数据集MovieLens和Book-Crossing上进行实验,评估了算法在Top-K推荐中的命中率以及推荐列表排序质量。此外还评价了评分预测的效果,并验证所提出的方法在关于推荐的各项常用评价指标上均优于当下前沿的推荐算法。最后对方法中涉及的超参数进行了敏感性分析,并得出使方法能够发挥最佳性能的超参数的取值。

基于图网络与归零系数的推荐模型及训练加速研究

这是一篇关于推荐系统,深度学习,图神经网络,归零残差系数,知识迁移的论文, 主要内容为随着互联网技术、大数据技术和人工智能技术的不断发展,个性化推荐系统已广泛应用于各类电子商务平台和多媒体网站,为用户筛选信息、优化体验,为企业吸引用户、增加收益。近年来,深度学习技术给推荐系统领域带来新的进展。得益于神经网络强大的表征能力和灵活的模块结构,基于深度学习的协同过滤推荐算法和序列推荐算法克服了传统推荐算法中的许多障碍,取得了更好的推荐效果。目前,基于深度学习的推荐算法仍然存在推荐精准度、模型可扩展性和模型训练效率方面的限制。本文从这些问题和挑战出发,针对现有算法的缺点和不足,进行算法研究和改进:(1)提出一个融合图神经网络的深度协同过滤推荐算法Graph CF,通过使用图神经网络对用户和物品之间的交互信息进行显式建模,从而提升推荐模型的精准度;(2)提出一个融合归零残差系数的深度序列推荐算法RZRec,通过对所有残差块结构添加归零残差系数,为模型堆叠更多的中间隐含层,从而提升模型的表达能力和推荐精准度;(3)观察发现深度序列推荐模型的隐含层之间具有很高的相似度。受此启发,提出一个基于知识迁移的深度序列推荐模型训练加速算法Stack Rec,通过层堆叠和知识迁移,在不损失推荐精准度的条件下,实现2倍以上的训练加速效果。本文通过大量的对比实验和消融分析来验证所提出方法能有效缓解上述限制,提升推荐效果和性能。综上所述,本文针对深度学习推荐模型的精准度问题、可扩展性问题、训练效率问题提出了有效的解决方案,并通过在真实数据集上进行实验验证了所提算法的有效性,对于推进深度学习在推荐系统中的研究和实用化具有一定的理论意义和应用价值。

基于深度协同交叉网络的推荐系统

这是一篇关于推荐系统,数据集成,深度矩阵分解,协同交叉网络,知识迁移的论文, 主要内容为在当今信息大爆炸的时代,各式各样的信息令人目不暇接。这不可避免地导致信息过载,使得人们在检索自己感兴趣的信息时存在一定困难。因此个性化推荐系统的重要性不言而喻。现有的推荐算法大多数都基于协同过滤,而协同过滤算法的主要不足之处在于其难以应对数据稀疏性问题。此外,协同过滤算法仅利用用户与物品的交互信息进行建模,其所挖掘的隐式信息仍不够充分。大多数相关方法仅关注显式或隐式信息中的一种,导致推荐的准确度并不高。针对上述问题,提出了一种基于数据集成和深度协同交叉网络的推荐算法。首先利用用户对物品的评分以及物品的标签信息计算用户对于标签的偏好,据此预测用户对物品基于偏好的印象分。然后从已有数据中挖掘出用户的社交关系信息,具体做法是先计算用户相似度,随后为每个用户定义可信用户集,通过计算第三方评分者与该可信用户集的相似度,预测出用户对物品基于社交关系的印象分。最后将上述两种印象分进行加权平均,得出社交偏好综合分,实现数据集成。在网络结构方面,将现有的协同交叉网络与基于深度矩阵分解的神经网络进行融合。融合后的网络通过任务关系矩阵实现两个基础网络之间的知识迁移和共享,并以完全相同的用户集和互不相交的物品集作为两个基础网络桥接的工具。最终,在推荐结果不重复的前提下,两个基础网络在训练时能够相互协作。在推荐系统常用数据集MovieLens和Book-Crossing上进行实验,评估了算法在Top-K推荐中的命中率以及推荐列表排序质量。此外还评价了评分预测的效果,并验证所提出的方法在关于推荐的各项常用评价指标上均优于当下前沿的推荐算法。最后对方法中涉及的超参数进行了敏感性分析,并得出使方法能够发挥最佳性能的超参数的取值。

《大学生职业生涯与发展规划》课程“知创视频”的设计研究

这是一篇关于大学生职业生涯与发展规划,知创视频,知识可视化,知识迁移的论文, 主要内容为大学生的就业问题一直是社会关注的重点工作。受社会文化不断发展的影响,大学生择业趋向越来越贴合自身的兴趣特点,选择因此变得多元。更加多元化的选择意味着大学生需要进行合理的职业生涯规划,才能从容应对生涯抉择过程中的种种问题。在这样的背景下,诸多大学都在积极探索更有效的方式,实现生涯规划理论与实践知识向大学生的迁移,提升大学生运用职业生涯知识进行自我生涯规划、生涯抉择的能力。北京科技大学的魏钧教授提出“知创视频”的概念:“知创视频”是知识迁移的有效载体,是一种“知识+创造”的视频传播模式。通过对企业内有创造力的员工的“创造性”实践的事件挖掘,记录员工的成功做法并标注动作要领,以将绩优者的成功经验进行定格,促进了企业内部员工之间的知识迁移。优秀毕业生的生涯规划经验与企业优秀员工的实践经验同样具有内隐形、也同样蕴含着巨大的智慧。因此,本文立足于大学生职业生涯规划能力的培养需求,结合自身“知创视频案例开发与行动学习”的项目实践经验,进行大学生职业生涯与发展规划课程“知创视频”的设计研究。本文采用基于设计的研究范式、德尔菲法,经过三轮迭代,将知创视频的流程框架设计、制作完成的知创视频和应用知创视频进行课堂教学的策略在不同的阶段请不同的专家、任课教师、进行意见与建议的征询,并进行修改、补充和完善。第一轮迭代通过对生涯规划专家、视觉传达的专家、资源研发专家进行“知创视频流程设计”的访谈,得到以下建议:1.视频可视化编辑的相关内容较少,适量补充工作场景和现实情境资料;2.由于之前已经进行了访谈,所以拍摄部分不应再叫做“访谈拍摄”,建议改为“视频拍摄”;3.第四步“视频制作设计”步骤中只有“知识标签批注”不具备知识立体性表达,应设计更多样的表现形式。根据专家的建议进行修改,并将修改后的内容发送给专家进行检验,意见一致继续接下来的研究。第二轮迭代向专家征询知创视频画面建议,得到画面颜色搭配、关键词字幕出现时长、素材多样性、背景音乐等相关建议。第三轮迭代就“知创视频应用于课堂教学的策略”进行专家意见征询。专家提出的意见均在反馈后进行修改。三轮迭代完成后,开始知创视频的教学应用,对课堂活动进行设计实施,并记录学生的课堂反馈情况。分别从问卷的量化分析与访谈的质性分析对知创视频应用于课堂的教学效果进行综合评价,最终得出结论如下:1.《大学生职业生涯与发展规划》“知创视频”实现知识可视化表征,搭建理论知识与职业探索之间的桥梁。2.应用“知创视频”提升学生生涯规划能力的策略能够促进学生的自我意义建构,形成生涯规划意识。3.《大学生职业生涯与发展规划》课程“知创视频”制作流程为后续相关的视频制作提供框架支持。通过研究发现知创视频对于大学生职业生涯具有重要意义,同时,也期望再后续的研究中,可以挖掘更多样的人物就业过程,呈现更加多样化的案例。也期望可以在不同的专业领域挖掘更多的具有代表性的实践智慧案例,设计开发成为大学生职业生涯与发展规划课程的学习资源。可以将知创视频迁移至学科教学融合,让学生提前知道专业的就业前景,以结果为导向,了解专业就业应该具备的素养。

基于知识蒸馏的联邦学习

这是一篇关于联邦学习,知识迁移,差分隐私,对抗蒸馏的论文, 主要内容为数据在人工智能时代中扮演着重要的角色,机器学习模型离不开数据的支撑,智慧推荐系统、医疗影像识别等应用的成功依赖于大量的训练数据。然而在实际生产中,数据分散在用户的智能终端设备和企业的数字存储引擎中,由于隐私安全和法律法规的限制,数据的收集整合和开发利用成为亟待解决的难题。为了破解这一难题,联邦学习技术在保证不直接共享本地数据的前提下执行多个参与方联合建模,促进了分布式数据源的互联互通。联邦知识蒸馏作为一种新颖的协作学习方式,将联邦系统内多个参与方的本地模型的知识迁移到全局模型中,相比参数聚合的联邦学习模式具有很大的优势,有效缓解了联邦系统面临的数据异构和隐私安全等问题。本文针对当前的联邦知识蒸馏算法中隐私预算消耗较多和需要公共数据两大挑战开展研究,结合联邦服务器中是否存在无标签公共数据的两种实际场景,提出全新的联邦知识蒸馏方案:(1)针对联邦服务器中存在无标签的公共数据的场景,提出基于逆k近邻投票的联邦知识蒸馏算法(Reverse k-Nearest Neighbors Voting,RKNN)。RKNN改进了分布式环境中为公共数据投票的方案,在公共表征空间中让一个隐私样本为距离最近的k个公共样本投票。本文将逆k近邻投票问题归约为分桶的稀疏向量求和问题,并且给出相应的集中式差分隐私和本地差分隐私保护机制。通过分析可知,RKNN能降低查询公共样本标签时的敏感度,从而大幅度减少扰动投票结果消耗的隐私预算。实验表明,RKNN相较于现有的联邦知识蒸馏方案,隐私保护效果提高了10倍以上。(2)针对联邦服务器中不存在公共数据的场景,提出基于对抗蒸馏的联邦知识蒸馏算法(Federated Adversarial Knowledge Distillation,Fed AKD)。Fed AKD在进行联邦模型训练时,不需要使用公共蒸馏样本和上传本地模型参数。具体地,联邦系统中每个参与方除训练本地模型以外,还需要在本地同步维护一个全局生成器和全局分类器,全局生成器和全局分类器通过对抗蒸馏的方式从分布式的本地模型中迁移知识,蒸馏样本由全局生成器产生。在Fed AKD中,服务器提供聚合假样本的分类概率的功能,与客户端的通信内容是假样本的判别结果。实验证明,Fed AKD相比其它的联邦学习算法,在客户端数据异构时有着良好的测试性能表现。

《大学生职业生涯与发展规划》课程“知创视频”的设计研究

这是一篇关于大学生职业生涯与发展规划,知创视频,知识可视化,知识迁移的论文, 主要内容为大学生的就业问题一直是社会关注的重点工作。受社会文化不断发展的影响,大学生择业趋向越来越贴合自身的兴趣特点,选择因此变得多元。更加多元化的选择意味着大学生需要进行合理的职业生涯规划,才能从容应对生涯抉择过程中的种种问题。在这样的背景下,诸多大学都在积极探索更有效的方式,实现生涯规划理论与实践知识向大学生的迁移,提升大学生运用职业生涯知识进行自我生涯规划、生涯抉择的能力。北京科技大学的魏钧教授提出“知创视频”的概念:“知创视频”是知识迁移的有效载体,是一种“知识+创造”的视频传播模式。通过对企业内有创造力的员工的“创造性”实践的事件挖掘,记录员工的成功做法并标注动作要领,以将绩优者的成功经验进行定格,促进了企业内部员工之间的知识迁移。优秀毕业生的生涯规划经验与企业优秀员工的实践经验同样具有内隐形、也同样蕴含着巨大的智慧。因此,本文立足于大学生职业生涯规划能力的培养需求,结合自身“知创视频案例开发与行动学习”的项目实践经验,进行大学生职业生涯与发展规划课程“知创视频”的设计研究。本文采用基于设计的研究范式、德尔菲法,经过三轮迭代,将知创视频的流程框架设计、制作完成的知创视频和应用知创视频进行课堂教学的策略在不同的阶段请不同的专家、任课教师、进行意见与建议的征询,并进行修改、补充和完善。第一轮迭代通过对生涯规划专家、视觉传达的专家、资源研发专家进行“知创视频流程设计”的访谈,得到以下建议:1.视频可视化编辑的相关内容较少,适量补充工作场景和现实情境资料;2.由于之前已经进行了访谈,所以拍摄部分不应再叫做“访谈拍摄”,建议改为“视频拍摄”;3.第四步“视频制作设计”步骤中只有“知识标签批注”不具备知识立体性表达,应设计更多样的表现形式。根据专家的建议进行修改,并将修改后的内容发送给专家进行检验,意见一致继续接下来的研究。第二轮迭代向专家征询知创视频画面建议,得到画面颜色搭配、关键词字幕出现时长、素材多样性、背景音乐等相关建议。第三轮迭代就“知创视频应用于课堂教学的策略”进行专家意见征询。专家提出的意见均在反馈后进行修改。三轮迭代完成后,开始知创视频的教学应用,对课堂活动进行设计实施,并记录学生的课堂反馈情况。分别从问卷的量化分析与访谈的质性分析对知创视频应用于课堂的教学效果进行综合评价,最终得出结论如下:1.《大学生职业生涯与发展规划》“知创视频”实现知识可视化表征,搭建理论知识与职业探索之间的桥梁。2.应用“知创视频”提升学生生涯规划能力的策略能够促进学生的自我意义建构,形成生涯规划意识。3.《大学生职业生涯与发展规划》课程“知创视频”制作流程为后续相关的视频制作提供框架支持。通过研究发现知创视频对于大学生职业生涯具有重要意义,同时,也期望再后续的研究中,可以挖掘更多样的人物就业过程,呈现更加多样化的案例。也期望可以在不同的专业领域挖掘更多的具有代表性的实践智慧案例,设计开发成为大学生职业生涯与发展规划课程的学习资源。可以将知创视频迁移至学科教学融合,让学生提前知道专业的就业前景,以结果为导向,了解专业就业应该具备的素养。

基于知识迁移的跨领域深度推荐方法研究

这是一篇关于知识迁移,跨领域推荐,深度学习的论文, 主要内容为单领域推荐算法已经日益成熟,其中应用最广泛的当属协同过滤推荐算法。但是随着用户和项目数量的日益增多,使得协同过滤算法面临着数据稀疏性问题的巨大挑战。跨领域推荐技术是解决这一问题的有效方法之一。跨领域推荐的目标就是从信息丰富的辅助领域获取用户偏好并迁移到目标域中,来缓解目标领域数据稀疏问题,从而提升目标领域推荐性能。成熟领域积累了大量的用户行为数据,通过领域间信息资源的共享和互补,不仅可以有效地缓解用户访问量少的推荐系统所面临的数据稀疏问题,而且可以提高用户满意度、改善用户体验。本文提出两种基于知识迁移跨领域深度推荐方法,主要工作如下:(1)分析了跨领域推荐的背景、研究意义以及国内外研究现状,探讨跨领域推荐发展趋势,为我们接下来研究工作提供坚实的理论支撑。(2)从辅助领域挖掘用户偏好角度出发,提出了一种融合美学特征的跨领域深度推荐方法。该方法根据用户审美偏好在不同领域间具有一致性,利用美学偏好作为桥梁,将用户在辅助域中的审美偏好和用户项目交互信息迁移到目标域中,从而缓解目标域中数据稀疏问题,提升目标域推荐性能。最后在两个公开数据集上进行了实验,证实了该方法的有效性。(3)从混合方法和跨领域两个角度出发,提出了一种混合非结构化文本的跨领域深度推荐方法。该方法将辅助域中用户项目交互信息迁移到目标域中并混合目标域中非结构化文本信息,从两个角度来缓解目标域数据稀疏性问题,提升推荐性能。我们在两个真实数据集上进行实验,验证了该方法的有效性。(4)基于提出的两种跨领域推荐方法,我们实现了一个服装跨领域推荐系统。该系统通过对用户行为记录分析并结合本文提出的方法,为用户提供个性化推荐。

基于改进的深度信念网络的协同过滤算法研究

这是一篇关于深度信念网络,受限玻尔兹曼机,协同过滤,知识迁移,偏最小二乘回归的论文, 主要内容为深度信念网络(Deep Belief Network,DBN)是一种深度学习模型,它是由若干层受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)有序堆叠组成的概率生成模型,通过无监督训练和有监督训练可以对样本数据进行特征学习和预测分类。DBN具有强大的特征学习能力,适用于推荐领域。然而,传统DBN存在以下不足:第一,DBN训练仅局限于评分数据,评分数据的稀疏性严重降低了模型的预测与推荐性能;第二,当给定具体应用时,DBN难以快速确定最佳网络结构,训练过程中的固定结构增加了计算负担。另外,在反向微调过程中存在梯度弥散问题,即从顶层到底层的纠错信号会变得越来越小,梯度弥散问题是DBN模型陷入局部最优的主要原因。针对DBN存在的上述问题,本文通过优化RBM和DBN的基本结构以改进DBN,并将改进的DBN与协同过滤算法相结合,以提高模型推荐性能。本文完成的主要工作如下:1.分析了多种推荐算法的研究现状,利用深度学习的优势,构建深度学习模型与协同过滤算法的联系,以解决基于模型的协同过滤算法在评分预测问题中存在的不足。2.本文在DBN模型的基础上提出了相似受限玻尔兹曼机-深度信念网络(Similar RBM-DBN,SRBM-DBN)模型,此模型在原有基础上做了以下改进:首先,此模型的输入数据可直接使用评分数据的实型数值作为输入层单元状态,不需要转换成二值状态,从而使得模型参数变少、训练效率更高、应用范围更广;其次,对模型的基本结构进行扩展,在第一层RBM模型的基础上融合了相似用户层作为提取用户特征的辅助条件,从而缓解了数据稀疏性带来的目标用户特征稀缺的问题,使模型在数据高稀疏性下能表现出不错的预测性能。3.本文提出了一种基于逆用户频率权重的用户特征向量相似度计算方法,通过计算项目贡献权重,以此作为计算相似用户的依据,并将该用户相似度计算方法与改进的SRBM-DBN模型结合起来预测目标用户的缺失评分,从而提高了模型的预测准确率。4.针对深度信念网络难以快速确定最佳网络结构问题,本文提出了一种基于知识迁移的SRBM-DBN模型结构自主构建方法。该方法包含两种操作:扩展网络宽度和扩展网络深度,通过将原始网络中学习到的知识迁移到新的更复杂的网络中,以此加快了复杂网络模型的训练时间。另外,在反向微调过程中,本文采用自上而下的逐层偏最小二乘回归(Partial Least Square Regression,PLSR)方法替代反向传播(Back Propagation,BP)算法,从而提高了模型收敛速度和微调精度。综上所述,本文对深度信念网络的基本结构进行优化,提出融合相似用户层的SRBM-DBN模型,该模型通过基于逆用户频率权重的用户特征向量相似度计算方法计算相似用户,以缓解数据稀疏性带来的特征稀缺的问题,提高了模型提取特征的能力和评分预测的准确率;同时,通过基于知识迁移的SRBM-DBN自主构建方法,以此加快复杂网络模型的训练时间,提高了模型收敛速度和微调精度。

基于深度协同交叉网络的推荐系统

这是一篇关于推荐系统,数据集成,深度矩阵分解,协同交叉网络,知识迁移的论文, 主要内容为在当今信息大爆炸的时代,各式各样的信息令人目不暇接。这不可避免地导致信息过载,使得人们在检索自己感兴趣的信息时存在一定困难。因此个性化推荐系统的重要性不言而喻。现有的推荐算法大多数都基于协同过滤,而协同过滤算法的主要不足之处在于其难以应对数据稀疏性问题。此外,协同过滤算法仅利用用户与物品的交互信息进行建模,其所挖掘的隐式信息仍不够充分。大多数相关方法仅关注显式或隐式信息中的一种,导致推荐的准确度并不高。针对上述问题,提出了一种基于数据集成和深度协同交叉网络的推荐算法。首先利用用户对物品的评分以及物品的标签信息计算用户对于标签的偏好,据此预测用户对物品基于偏好的印象分。然后从已有数据中挖掘出用户的社交关系信息,具体做法是先计算用户相似度,随后为每个用户定义可信用户集,通过计算第三方评分者与该可信用户集的相似度,预测出用户对物品基于社交关系的印象分。最后将上述两种印象分进行加权平均,得出社交偏好综合分,实现数据集成。在网络结构方面,将现有的协同交叉网络与基于深度矩阵分解的神经网络进行融合。融合后的网络通过任务关系矩阵实现两个基础网络之间的知识迁移和共享,并以完全相同的用户集和互不相交的物品集作为两个基础网络桥接的工具。最终,在推荐结果不重复的前提下,两个基础网络在训练时能够相互协作。在推荐系统常用数据集MovieLens和Book-Crossing上进行实验,评估了算法在Top-K推荐中的命中率以及推荐列表排序质量。此外还评价了评分预测的效果,并验证所提出的方法在关于推荐的各项常用评价指标上均优于当下前沿的推荐算法。最后对方法中涉及的超参数进行了敏感性分析,并得出使方法能够发挥最佳性能的超参数的取值。