基于异质信息迁移的跨域推荐算法研究

这是一篇关于跨域推荐,信息迁移,协同过滤,域适应的论文, 主要内容为随着在线社交网络的迅速发展,在线用户信息的数据量呈爆炸式增长,如何从数据中提取有用的信息并利用这些信息为用户提供个性化的推荐逐渐成为研究热点。目前已经涌现出了许多向社交网络用户推荐符合他们兴趣的信息的个性化推荐系统和方法,然而传统的单域推荐方法通常会受到信息稀疏性问题以及推荐冷启动问题的影响,对稀疏性以及冷启动问题的解决能力是有限的。由于互联网用户通常会接触多种不同类型的社交网络,结合网络间信息进行跨域推荐解决传统的单域推荐方法面临的稀疏性问题以及冷启动问题,近年来引起了大量的关注。跨域推荐算法除了使用用户反馈信息等来自推荐目标网络的信息之外,也可以将来自外部网络的辅助信息迁移到目标网络来解决推荐问题,从而提高推荐效果。在不同的网络应用平台中,通常会存在完全或部分重叠的用户和项目,通过充分挖掘这些重叠用户的行为模式,可以进行不同社交网络平台间的异质信息迁移,从而丰富目标社交网络的信息。然而,跨域推荐在解决如何通过重叠用户联合不同网络之间的信息时,也面临一些问题,比如由社交平台不同带来的信息异质性。信息异质性主要是由于不同的域的功能和焦点不同引起的,这导致用户在不同域上的行为模式包含平台特定因素;此外不同平台中的信息粒度存在差异,比如标签的分类细致程度、内容文本信息的长短等等。针对以上问题,本文提出了一种基于异质信息迁移的跨域推荐算法HITCDR,分别从两个方面对跨域推荐效果进行改进。首先提出一种通过域间用户对齐算法RPSUA来解决跨域推荐中域间映射函数训练时重叠用户数据量不足的问题;然后提出一种区分域共享特征与域特定特征的信息迁移方法。本文完成的主要工作如下:(1)首先通过矩阵分解在单域生成用户潜在表示,同时结合生成的用户-项目交互矩阵来用于计算用户之间的相似度,并根据相似程度构建用户相似关系网络;然后将源域和目标域的用户表示投影到同一表示空间;最后将投影后的表示结果相近的用户对标记为隐式重叠用户,结合已经识别出的显式重叠用户一起用于之后的特征区分阶段和跨域用户表示映射阶段,来增强跨域映射函数的泛化性能;(2)然后通过基于域分离网络的特征区分模块提取用户单域表示中的域共享特征和域特定特征,并以此来对两种不同类型的特征进行不同粒度的映射;在得到域特定特征映射网络与域共享特征映射网络后,将源域非重叠用户的单域表示作为输入并生成非重叠用户的目标域表示;最后使用新生成的用户表示还原预测的评分矩阵,并为源域非重叠用户推荐目标域项目。本文先对现有的跨域推荐算法进行分类和介绍,通过对已有的算法进行研究和分析,为之后本文的跨域推荐算法设计奠定了基础。然后详细介绍了本文提出的跨域推荐算法HITCDR,并给出了本文方案的设计与实现,最后在真实的亚马逊数据集中验证了本文方案的有效性并给出了评估分析。

基于深度学习的情感分析研究

这是一篇关于情感分析,域适应,方面级情感分析,深度学习,自然语言处理的论文, 主要内容为情感分析是自然语言处理领域的基础任务之一,目的是分析文本表达的情感倾向。近年来,随着互联网和移动互联网的发展,各类社交平台和电商平台积累了大量用户产生的文本数据,分析这些文本数据对于提升社交平台和电商平台的服务质量有积极作用。相较于传统基于统计的情感分析模型,基于深度学习的模型广泛提高了情感分析模型的性能和鲁棒性。针对基于深度学习的情感分析的相关问题,主要工作包括以下几点:1.基于域适应的粗粒度情感分析,深度学习模型训练数据不足是一项基本问题,本文尝试通过域适应的方法解决这一问题。基于对抗训练的共享-私有模型在源域数据上训练共享特征提取器和特有特征提取器。其中共享特征提取器可以直接用于无标签的目标域。然后选择合适的源域通过对抗训练迁移特有特征信息到目标域。最终串联共享特征向量和特有特征向量两部分特征向量,完成粗粒度情感分析。相比之前的方法,通过域适应弥补了特有特征信息的损失,Amazon评论和FDU-MTL两个数据集上均取得了领先的结果。2.针对细粒度情感分析的分支方面级情感分析任务,本文采用双向LSTM分别编码上下文和方面词,引入位置权重向量,针对以往注意力机制计算时平均池化操作带来的信息损失,使用了词级别的注意力机制。在SemEval 2014的餐厅领域和笔记本领域,Twitter数据集等三个标准数据集上分别取得了79.9%,72.9%和71.0%的准确率,较所有基线模型均取得了明显提升。并且对测试集预测错误的样本做了总结和分析。3.针对方面的情感分析包括方面词实体抽取和方面词情感分析两个子任务,通常的研究独立处理这两个子任务。而从实际应用场景和任务相关性角度出发,同时处理两个子任务是更好的解决方案。本文尝试通过端到端的模型解决完整的方面级情感分析任务。采用了统一标注模式,将完整任务当作序列标注任务处理。使用预训练模型BERT编码上下文,针对不同的下游网络进行了实验。实验证明了基于序列标注的统一标注方案相较于流水线模型性能更好。基于BERT的模型采用微调的方式能获得显著的性能提升。由于序列标注任务的特点,BERT-SAN和BERT-TFM等基于自注意力机制的网络效果更好。

基于深度学习的情感分析研究

这是一篇关于情感分析,域适应,方面级情感分析,深度学习,自然语言处理的论文, 主要内容为情感分析是自然语言处理领域的基础任务之一,目的是分析文本表达的情感倾向。近年来,随着互联网和移动互联网的发展,各类社交平台和电商平台积累了大量用户产生的文本数据,分析这些文本数据对于提升社交平台和电商平台的服务质量有积极作用。相较于传统基于统计的情感分析模型,基于深度学习的模型广泛提高了情感分析模型的性能和鲁棒性。针对基于深度学习的情感分析的相关问题,主要工作包括以下几点:1.基于域适应的粗粒度情感分析,深度学习模型训练数据不足是一项基本问题,本文尝试通过域适应的方法解决这一问题。基于对抗训练的共享-私有模型在源域数据上训练共享特征提取器和特有特征提取器。其中共享特征提取器可以直接用于无标签的目标域。然后选择合适的源域通过对抗训练迁移特有特征信息到目标域。最终串联共享特征向量和特有特征向量两部分特征向量,完成粗粒度情感分析。相比之前的方法,通过域适应弥补了特有特征信息的损失,Amazon评论和FDU-MTL两个数据集上均取得了领先的结果。2.针对细粒度情感分析的分支方面级情感分析任务,本文采用双向LSTM分别编码上下文和方面词,引入位置权重向量,针对以往注意力机制计算时平均池化操作带来的信息损失,使用了词级别的注意力机制。在SemEval 2014的餐厅领域和笔记本领域,Twitter数据集等三个标准数据集上分别取得了79.9%,72.9%和71.0%的准确率,较所有基线模型均取得了明显提升。并且对测试集预测错误的样本做了总结和分析。3.针对方面的情感分析包括方面词实体抽取和方面词情感分析两个子任务,通常的研究独立处理这两个子任务。而从实际应用场景和任务相关性角度出发,同时处理两个子任务是更好的解决方案。本文尝试通过端到端的模型解决完整的方面级情感分析任务。采用了统一标注模式,将完整任务当作序列标注任务处理。使用预训练模型BERT编码上下文,针对不同的下游网络进行了实验。实验证明了基于序列标注的统一标注方案相较于流水线模型性能更好。基于BERT的模型采用微调的方式能获得显著的性能提升。由于序列标注任务的特点,BERT-SAN和BERT-TFM等基于自注意力机制的网络效果更好。

基于异质信息迁移的跨域推荐算法研究

这是一篇关于跨域推荐,信息迁移,协同过滤,域适应的论文, 主要内容为随着在线社交网络的迅速发展,在线用户信息的数据量呈爆炸式增长,如何从数据中提取有用的信息并利用这些信息为用户提供个性化的推荐逐渐成为研究热点。目前已经涌现出了许多向社交网络用户推荐符合他们兴趣的信息的个性化推荐系统和方法,然而传统的单域推荐方法通常会受到信息稀疏性问题以及推荐冷启动问题的影响,对稀疏性以及冷启动问题的解决能力是有限的。由于互联网用户通常会接触多种不同类型的社交网络,结合网络间信息进行跨域推荐解决传统的单域推荐方法面临的稀疏性问题以及冷启动问题,近年来引起了大量的关注。跨域推荐算法除了使用用户反馈信息等来自推荐目标网络的信息之外,也可以将来自外部网络的辅助信息迁移到目标网络来解决推荐问题,从而提高推荐效果。在不同的网络应用平台中,通常会存在完全或部分重叠的用户和项目,通过充分挖掘这些重叠用户的行为模式,可以进行不同社交网络平台间的异质信息迁移,从而丰富目标社交网络的信息。然而,跨域推荐在解决如何通过重叠用户联合不同网络之间的信息时,也面临一些问题,比如由社交平台不同带来的信息异质性。信息异质性主要是由于不同的域的功能和焦点不同引起的,这导致用户在不同域上的行为模式包含平台特定因素;此外不同平台中的信息粒度存在差异,比如标签的分类细致程度、内容文本信息的长短等等。针对以上问题,本文提出了一种基于异质信息迁移的跨域推荐算法HITCDR,分别从两个方面对跨域推荐效果进行改进。首先提出一种通过域间用户对齐算法RPSUA来解决跨域推荐中域间映射函数训练时重叠用户数据量不足的问题;然后提出一种区分域共享特征与域特定特征的信息迁移方法。本文完成的主要工作如下:(1)首先通过矩阵分解在单域生成用户潜在表示,同时结合生成的用户-项目交互矩阵来用于计算用户之间的相似度,并根据相似程度构建用户相似关系网络;然后将源域和目标域的用户表示投影到同一表示空间;最后将投影后的表示结果相近的用户对标记为隐式重叠用户,结合已经识别出的显式重叠用户一起用于之后的特征区分阶段和跨域用户表示映射阶段,来增强跨域映射函数的泛化性能;(2)然后通过基于域分离网络的特征区分模块提取用户单域表示中的域共享特征和域特定特征,并以此来对两种不同类型的特征进行不同粒度的映射;在得到域特定特征映射网络与域共享特征映射网络后,将源域非重叠用户的单域表示作为输入并生成非重叠用户的目标域表示;最后使用新生成的用户表示还原预测的评分矩阵,并为源域非重叠用户推荐目标域项目。本文先对现有的跨域推荐算法进行分类和介绍,通过对已有的算法进行研究和分析,为之后本文的跨域推荐算法设计奠定了基础。然后详细介绍了本文提出的跨域推荐算法HITCDR,并给出了本文方案的设计与实现,最后在真实的亚马逊数据集中验证了本文方案的有效性并给出了评估分析。

基于跨模态原型生成的阿尔茨海默病预测方法研究

这是一篇关于阿尔茨海默病,少样本学习,原型网络,跨模态,域适应的论文, 主要内容为阿尔茨海默病(Alzheimer’s disease,AD)是老年人痴呆疾病中的典型。该病的临床症状表现较为复杂,如记忆力衰退、行为异常以及认知功能的障碍,目前没有有效的治疗方案可以阻止或逆转AD的进展。AD的早期诊断和准确识别具有一定的挑战性,这通常会导致治疗的延误。医学上将阿尔茨海默病的发展分为三个阶段:正常人(normal control,NC)、轻度认知障碍(mild cognitive impairment,MCI)、AD。目前,磁共振成像(magnetic resonance imaging,MRI)已经被广泛用作以上三个阶段的分类,因此将MRI作为一种早期诊断AD的影像数据并基于此对AD进行分类,对疾病的准确诊断、早期干预有重大研究意义。本文以结构磁共振成像(structural magnetic resonance imaging,s MRI)为主要模态数据,基于跨模态原型对AD分类展开研究。首先对于AD分类中的误分情况,结合多模态知识,提出自适应的跨模态原型,并在数据集来源不同的情况下,设计了域适应网络,有效应对数据来源不同导致的分类模型效果不理想的情况。本文的主要研究内容和工作有:1)在单一MRI模态的情况下,使用传统方法会导致AD分类任务中大量的MCI误分现象。本文基于度量学习的思想,利用其他模态数据以生成跨模态原型,从调整分类边界的角度来降低MRI误分率。此外,本文提出了自适应机制,动态调整多模态数据的比重,让有价值的模态特征发挥尽可能大的作用,从而提升框架的可用性。2)根据ADNI数据集训练出的模型,其被用来在另一个数据分布不同的数据集上时,分类效果很不理想。针对这类AD数据集来源不同导致模型无法共用的问题,本文基于域对抗网络的思想,在第三章模型的原型生成阶段作干预,加入域判别器和标签分类器,二者协同工作,构成跨域原型生成网络,让原型的特征表达兼顾数据来源与分类效果。3)为辅助医生对疑难影像的诊断,本文结合以上模型,使用Spring Boot结合MVC作为主要框架,My SQL和Redis作为数据存储的组件,开发了基于跨模态原型生成的AD辅助诊断系统。

视觉分类的深度域适应方法

这是一篇关于深度学习,域适应,数据分布,多尺度,迁移学习的论文, 主要内容为深度学习技术的日趋成熟已经为各种人工智能任务带来了显著的效果,其具有着广泛的应用前景。近年来,各种深度学习模型层出不穷,促进了推荐系统,语言识别以及计算机视觉等领域的进一步发展,尤其是在人脸识别以及推荐搜索领域已经得到了大规模的应用。但是深度学习的有效性依赖于硬件技术的支持以及大量的带有人工标注的数据。然而在现实场景中,通常获得一个具有大量的人工标注的数据集是不现实的。另外一个不可避免的问题是,在真实的场景当中由于外界环境的影响有时会使得训练集和测试集的数据分布不一致,这样会造成训练出来的模型在训练集上表现很好,在测试集上表现很差,在计算机视觉当中这样的问题被叫做是“领域偏移”。域适应技术能够有效地解决上述两个问题。域适应研究的目的是将源域样本的特征适应到目标域,最终在目标域上取得较好的泛化性能。由于域适应技术的有效性及其应用前景的广泛性,使得其成为人工智能领域的一个重要方向。本文针对已存在的域适应方法的缺点提出了两个用于无监督域适应的网络模型。一个是传统的深度域适应方法仅仅考虑了在高维空间当中将源域和目标域的数据分布对齐,忽略了目标域数据分布的变化,如果目标域数据分布变化过大会损失目标域的信息,这会削弱算法在目标域上的分类性能。本文在深度域适应网络上引入局部信息保持的概念,减少了因为特征变换而导致的目标域数据信息损失的问题,在对齐源域和目标域数据分布的同时有效地保持了原始数据的信息,基于此研究了一个用于无监督域适应的深度对抗重构分类网络模型。另一个是现有的域适应方法大多是基于单一特征结构来对齐不同数据域之间的分布,因此迁移的内容只包含了部分的有效信息,比如只包含了低级几何特征或者只包含了高级语义特征,基于单一特征的域适应方法可能会产生较差的迁移结果,基于此研究了一个用于无监督域适应的多尺度领域对抗网络模型。我们在数字数据集和经典的迁移学习数据集上进行了实验,相应的实验结果表明和已有的域适应算法相比较,我们的模型在大多数情况下具有着较为优越的性能。

基于深度学习的结膜血管图像分割方法研究

这是一篇关于结膜图像,图像分割,域适应,U-net,注意力机制的论文, 主要内容为因糖尿病而引起的糖尿病视网膜病变(Diabetes retinopathy,DR)是一种常见的眼科疾病,也是糖尿病患者失明的主要原因。目前DR的诊断方式是对视网膜眼底图像进行分析,很多研究者在眼底图像的分割处理上有着深入的研究。眼底图像的获取方法较为复杂,区别于眼底图像,结膜图像相对极易获取。并且据研究表明人类眼睛的球结膜的血管形态同样与糖尿病视网膜病变具备显著的相关性,使用结膜图像进行病症分析是相较于眼底图像更为便捷的一种方式。本文的工作也以此为背景,研究如何在结膜图像上进行血管分割。本文的研究主要包含以下两个方面:(1)本文构建了结膜图像数据集,并针对原始结膜图像设计了结膜图像增强方法。由于角度、亮度、眼睛结构等方面的因素所引起的血管形态不显,提出了用于处理结膜图像的方法。首先通过尺寸以及亮度层面的标准化,对齐了整个结膜数据集,然后通过实验分析选择了包含血管信息最多的绿色通道生成灰度图像,之后提出了一种结膜图像增强方法,通过MSR算法以及CLAHE算法联合增强图像,使得图像的对比度在不失真的情况下大幅增强,使作为图像主体部分的血管更为突出。(2)不同于其他医学图像分割问题,结膜图像并没有公开的已标注数据集,为了解决没有像素级标注的问题,本文提出了基于域适应的的结膜血管分割网络。通过结膜图像和眼底图像进行无监督的对抗学习,使得模型学习到了领域间的域不变特征,实现了在结膜图像上的血管分割。区别于传统域适应方法使用基础卷积神经网络结构,本文以在医学分割领域表现极为突出的U-net网络作为基线网络,并在实验过程中对U-net网络的结构进行了深度的分析,从图像的特点出发改进了U-net网络,为网络注入CBAM注意力模块,用于增加在空间以及通道层面的权重,另外引入残差结构解决因为网络层数的加深而引起的训练困难的问题。实验结果表明本文提出的方法在构建的结膜图像数据集上得到了有意义的结果,具备一定的血管分割的能力。

数据合成方法与物体六维姿态估计研究

这是一篇关于物体六维姿态估计,数据合成,深度学习,域适应的论文, 主要内容为物体六维姿态估计目的在于从图像识别特定目标物体,然后预测物体相对于模型坐标系的位置和朝向。估计出的物体姿态可以应用到很多实际任务中,比如机器人操作、自动驾驶,和增强现实。随着深度学习近些年来的快速发展,基于深度学习的方法已经主导了物体六维姿态估计领域。基于深度学习的物体六维姿态估计算法需要大量的带标注训练数据,然而,对数据的采集和标注是非常昂贵的,对于物体六维姿态估计来说更是如此,原因在于标注物体六维姿态需要在三维空间上做匹配。因此,使用合成数据进行训练是一个值得研究的方向。本文提出一个为物体六维姿态估计任务优化的统一化数据合成流程。通过将虚拟场景生成、渲染环境搭建、标注合成,以及数据存储有机地结合起来,我们提出的数据合成流程可以为各类任务场景提供大量带标注合成数据。并且,得益于物理仿真器和现代化渲染引擎,通过该合成流程生成的数据是基于物理约束的和视觉逼真的。为了提高神经网络在使用大量合成数据辅助训练时的准确率,本文提出了一种边缘注意机制。通过引导网络预测一个归一化的边缘图,我们强制网络关注低层次几何特征。本文提出的边缘注意机制也可以提高在遮挡场景下算法的表现。结合合成数据和边缘注意机制,我们的方法在仅仅使用RGB的情况下,在Linemod数据集上的ADD(-S)平均准确率达到了96%,比GDR-Net高了2.5%,同时,比Densefusion的迭代优化版本(基于RGBD)提升了1.9%。我们使用在Linemod数据集上训练的网络模型在LM-O数据集上进行测试,达到了53.6%的准确率,比专门在LM-O数据集上训练的GDR-Net算法提升了0.6%。当完全使用合成数据进行训练的情况下,算法会因为域漂移问题导致准确率急速下降。因此,本文将域随机化技术集成进我们提出的数据合成流程,并进一步研究不同的域随机化手段对网络性能的影响。通过选择合适的域随机化技术,在仅仅使用合成数据训练的情况下,我们的基于RGB的方法在Linemod和LM-O数据集上分别达到72.8%和47.5%的准确率,超过使用RGBD作为输入的Self6d 13.9%和15.4%。为了利用无标注的真实数据中的信息,从ICP算法得到启发,本文提出了一种新的自监督学习框架。通过在合成数据上训练深度估计网络,网络可以对真实样本预测深度图。预测出的深度图除了可以用来提升姿态估计网络的表现之外,还可以用来做自监督学习训练。自监督学习的目标是缩小预测的深度图和用估计的姿态转换之后的物体点云之间的距离。本文提出的自监督学习框架将Linemod数据集上的准确率从72.8%提升到78.1%。

基于深度学习的情感分析研究

这是一篇关于情感分析,域适应,方面级情感分析,深度学习,自然语言处理的论文, 主要内容为情感分析是自然语言处理领域的基础任务之一,目的是分析文本表达的情感倾向。近年来,随着互联网和移动互联网的发展,各类社交平台和电商平台积累了大量用户产生的文本数据,分析这些文本数据对于提升社交平台和电商平台的服务质量有积极作用。相较于传统基于统计的情感分析模型,基于深度学习的模型广泛提高了情感分析模型的性能和鲁棒性。针对基于深度学习的情感分析的相关问题,主要工作包括以下几点:1.基于域适应的粗粒度情感分析,深度学习模型训练数据不足是一项基本问题,本文尝试通过域适应的方法解决这一问题。基于对抗训练的共享-私有模型在源域数据上训练共享特征提取器和特有特征提取器。其中共享特征提取器可以直接用于无标签的目标域。然后选择合适的源域通过对抗训练迁移特有特征信息到目标域。最终串联共享特征向量和特有特征向量两部分特征向量,完成粗粒度情感分析。相比之前的方法,通过域适应弥补了特有特征信息的损失,Amazon评论和FDU-MTL两个数据集上均取得了领先的结果。2.针对细粒度情感分析的分支方面级情感分析任务,本文采用双向LSTM分别编码上下文和方面词,引入位置权重向量,针对以往注意力机制计算时平均池化操作带来的信息损失,使用了词级别的注意力机制。在SemEval 2014的餐厅领域和笔记本领域,Twitter数据集等三个标准数据集上分别取得了79.9%,72.9%和71.0%的准确率,较所有基线模型均取得了明显提升。并且对测试集预测错误的样本做了总结和分析。3.针对方面的情感分析包括方面词实体抽取和方面词情感分析两个子任务,通常的研究独立处理这两个子任务。而从实际应用场景和任务相关性角度出发,同时处理两个子任务是更好的解决方案。本文尝试通过端到端的模型解决完整的方面级情感分析任务。采用了统一标注模式,将完整任务当作序列标注任务处理。使用预训练模型BERT编码上下文,针对不同的下游网络进行了实验。实验证明了基于序列标注的统一标注方案相较于流水线模型性能更好。基于BERT的模型采用微调的方式能获得显著的性能提升。由于序列标注任务的特点,BERT-SAN和BERT-TFM等基于自注意力机制的网络效果更好。