基于多模态数据的装配作业脑力负荷识别研究

这是一篇关于装配作业,脑力负荷,生理指标,支持向量机,多模态数据的论文, 主要内容为随着经济的快速发展,科学技术的推陈出新,制造企业也逐步迈入了信息化和智能化的生产轨道。产品个性化、复杂化与多元化等定制化需求的不断提高,使得装配作业的工作性质较以往相比发生了巨大的变化,作业人员在装配过程中需要更多的认知能力以应对不断发展的要求。而长时间的脑力劳动会使作业人员产生负荷过载的现象,易对企业的生产效率与系统的安全性产生不利的影响。因此,以“人因”的视角作为切入点,采用科学有效的方法监测与评估装配过程中作业人员的脑力负荷,并将其结果作为人机分工的依据,有利于提高整体的装配效率和降低人因失误率,最终优化制造系统的人机效率。首先,本文利用实验室现有的设备,通过模拟装配作业设计了三种不同难度的装配任务,在执行任务过程中使用NASA-TLX收集作业人员的主观数据;Ergo LAB云平台记录整个实验过程所需的时间,并采集脉搏信号、呼吸信号与肌电信号,并用BP脑电仪收集脑电信号。其次,本文运用主观评定测量法与生理指标测量法相结合的方法来研究脑力负荷,不同的外周生理信号与脑电信号的变化会引起脑力负荷的变化。并且提取了脑电信号的能量谱特征,脉搏信号的心率变异率,呼吸信号的呼吸均值与呼吸幅度,肌电信号的肌电振幅的均方根与中值频率几个特征组。对收集的主观评分、任务绩效与生理数据使用SPSS统计分析软件进行方差分析、T检验与相关性分析,提取出有显著差异的特征指标。结果表明,呼吸指标随任务难度的增加而显著增加,脉搏指标在任务间无显著差异,脑电信号的Alpha能量波在任务间有显著差异,肌电指标在任务间无显著差异。最后,本文通过信息融合理论,提出了多模态生理指标作业人员脑力负荷的评估方法。本文通过建立支持向量机分类模型的方法,在特征层上对已初步提取的特征分别进行训练,并与其他分类器进行比较分析。分类结果表明:在单一模态中,脑电信号的分类准确率高于呼吸指标与脉搏指标;在双模态组合指标中,EEG与PPG组合信号的准确率比EEG与呼吸组合信号和PPG与呼吸组合信号的准确率要高;多模态数据的分类准确率普遍优于单一模态与双模态数据的分类准确率,且在支持向量机模型中的分类准确率最高。在以人为中心的装配作业中,在保证生产效率的条件下,实时地监测操作者脑力负荷的变化,分析脑力负荷与工作绩效的状态特征。对于改善操作者的身心健康、提高其工作效率以及制定行之有效的管理策略有着重要作用,具有重要的实践意义。

基于多模态数据源的个性化推荐算法研究

这是一篇关于个性化推荐系统,深度学习,注意力机制,多模态数据的论文, 主要内容为近年来随着互联网技术的快速发展,呈爆炸式增长的在线产品和内容为用户提供了更加便捷的线上体验。不容忽视的是,过多的选择会导致信息过载问题,例如服装、电影、音乐、新闻和书籍。为了解决这一问题,推荐系统和搜索引擎应运而生。与搜索引擎相比,推荐系统旨在主动地为终端用户提供个性化的服务和产品并创造商业效益。得益于移动通信和计算能力的不断突破,非结构化数据(图片、视频、音频、文本等)的制作和传输变得更加方便,在线内容和产品的呈现方式也更加多样化。一方面,推荐系统面临的产品数量暴增,在大规模产品集合下,传统的召回策略将面临算法性能和资源耗费的考验,如何在有限的时间内提升召回效果对于推荐系统的实现非常重要;另一方面,传统的推荐算法使得大量的产品内容信息没有得到利用,导致信息利用率较低,另外在其他人工智能应用领域中对多模态数据的利用大多采用加权相加或拼接的方法,这意味着在一定程度上忽略了多种模态之间的共同基础信息。为了解决上述问题,本论文提出了新的召回算法和重排序算法以实现基于多模态数据源的个性化推荐系统:首先,本论文基于深度学习实现了稀疏数据场景下的产品召回算法,主要包括:1)基于运营商平台经过脱敏的真实数据集进行数据分析和预处理,使其更适用于该算法;2)基于降噪堆叠自编码器实现稀疏数据场景下的矩阵恢复和补全,主要思想是基于部分观测数据来构造和学习非线性隐变量模型。实验结果表明,在大规模产品集下基于降噪堆叠自编码器针对极度稀疏数据实现的召回优于传统的协同过滤算法和基于受限玻尔兹曼机的算法的性能,该模型能够准确高效的进行产品召回,以降低后续重排序阶段的复杂度。接下来,本论文基于深度学习与注意力机制提出了一个端到端的重排序模型,称为基于多模态数据的兴趣相关产品相似模型(Multimodal Interest-Related Item Similarity model,Multimodal IRIS),用于提供top-N推荐。具体来说,Multimodal IRIS模型由三个模块组成,即多模态特征学习模块、兴趣相关网络(Interest-Related Network,IRN)和产品相似度推荐模块。多模态特征学习模块在不同模态间增加了知识共享单元,然后IRN分别学习待预测产品和不同历史交互产品之间的兴趣相关性,最后将多模态数据特征学习模块、IRN模块和产品相似度推荐模块统一为一个集成模型,从而实现性能提升并适应不同模态数据的增加或缺失。实验结果表明,相比于目前主流的方法,所提出的模型通过高效利用人们在选择产品时可能更加关注的多模态数据,在提高信息利用率的同时也提高了top-N推荐任务的准确性和可解释性。最后,结合本论文提出的基于深度学习的产品召回算法和基于多模态数据的兴趣相关产品相似模型,我们基于应用最广泛的公共数据集,设计并实现了一个多功能的推荐系统,包括相似性推荐、关联推荐和个性化推荐。实验结果表明,该系统具有良好的性能,能够很好的适应现实推荐场景,可应用于电影、服装、书籍、餐饮等线上内容的个性化推荐。

面向电力设备缺陷数据的多模态知识图谱研究

这是一篇关于电力知识图谱,多模态数据,电力设备,目标检测,知识抽取的论文, 主要内容为随着智能电网发展和电力行业信息化的建设,电力大数据爆发并呈现快速增长趋势,然而电力数据呈现出以文本、图像、视频和音频等多种形式存在的多源异构性,给数据共享、信息管理和数据应用挖掘带来了很大的困难。知识图谱作为一种新的知识表示方法和数据管理模型,可以在知识获取、数据融合、运行维护等诸多领域实现高效应用。但是传统的知识图谱只能应用文本数据来构建知识图谱,忽视了数据量大、内容多且覆盖广的图像数据,为此,本文将电力文本数据与图像数据结合,构建面向电力设备缺陷数据的多模态知识图谱,所做工作与成果如下:1.针对电力设备小目标缺陷识别存在漏检的问题,提出了改进的YOLOv5算法,有效地增加了输出层和锚框的数量,更好地检测电力设备图像及其小目标缺陷,并修改损失函数与边界框抑制,以快速准确地定位图像缺陷区域,提高对遮挡重叠对象的检测性能。通过实验验证,改进算法有效提高了对绝缘子,变压器等多种电力设备及其缺陷识别的准确率和召回率,为后续多模态知识图谱的构建奠定了基础。2.针对目前电力领域知识图谱缺乏的情况,构建了针对电力设备缺陷文本数据的知识图谱。使用基于互信息和左右熵的无监督词发现算法对语料进行短语提取,再投入jieba工具中进行分词并进行人工标注,利用双向长短期记忆模型和条件随机场模型实现知识抽取。随后通过配对实体的方式实现知识融合,并存储于Neo4j图数据库中,构建文本知识图谱。3.针对传统知识图谱方法仅从结构化三元组中学习知识表示这一问题,本文融合目标检测后的电力设备图像与构建的电力设备缺陷文本知识图谱,将识别后的电力设备图像与文本知识图谱进行配对,并利用Interactive Graph图数据库实现知识存储,构建面向电力设备缺陷数据的多模态知识图谱,实现知识查询和辅助决策。

面向电力设备缺陷数据的多模态知识图谱研究

这是一篇关于电力知识图谱,多模态数据,电力设备,目标检测,知识抽取的论文, 主要内容为随着智能电网发展和电力行业信息化的建设,电力大数据爆发并呈现快速增长趋势,然而电力数据呈现出以文本、图像、视频和音频等多种形式存在的多源异构性,给数据共享、信息管理和数据应用挖掘带来了很大的困难。知识图谱作为一种新的知识表示方法和数据管理模型,可以在知识获取、数据融合、运行维护等诸多领域实现高效应用。但是传统的知识图谱只能应用文本数据来构建知识图谱,忽视了数据量大、内容多且覆盖广的图像数据,为此,本文将电力文本数据与图像数据结合,构建面向电力设备缺陷数据的多模态知识图谱,所做工作与成果如下:1.针对电力设备小目标缺陷识别存在漏检的问题,提出了改进的YOLOv5算法,有效地增加了输出层和锚框的数量,更好地检测电力设备图像及其小目标缺陷,并修改损失函数与边界框抑制,以快速准确地定位图像缺陷区域,提高对遮挡重叠对象的检测性能。通过实验验证,改进算法有效提高了对绝缘子,变压器等多种电力设备及其缺陷识别的准确率和召回率,为后续多模态知识图谱的构建奠定了基础。2.针对目前电力领域知识图谱缺乏的情况,构建了针对电力设备缺陷文本数据的知识图谱。使用基于互信息和左右熵的无监督词发现算法对语料进行短语提取,再投入jieba工具中进行分词并进行人工标注,利用双向长短期记忆模型和条件随机场模型实现知识抽取。随后通过配对实体的方式实现知识融合,并存储于Neo4j图数据库中,构建文本知识图谱。3.针对传统知识图谱方法仅从结构化三元组中学习知识表示这一问题,本文融合目标检测后的电力设备图像与构建的电力设备缺陷文本知识图谱,将识别后的电力设备图像与文本知识图谱进行配对,并利用Interactive Graph图数据库实现知识存储,构建面向电力设备缺陷数据的多模态知识图谱,实现知识查询和辅助决策。

基于多模态数据B电商平台商品需求预测与库存控制研究

这是一篇关于库存管理,库存控制,多模态数据,商品需求预测,神经网络,深度学习的论文, 主要内容为商品需求预测和库存控制是电商平台运营中两个重要的组成部分,库存控制又依赖于准确的需求预测,因为准确的需求预测能够让电商平台实现更好的库存计划,制定科学的推广方案以及有效地提高客户满意度和服务品质。同时,有效的库存控制策略可以减少仓库的占用,降低总的库存费用,加速企业的资金流动。本文从需求预测与库存控制这两个方面出发,以B电商平台为研究对象,通过对B电商平台的需求预测与库存控制现状进行调查与分析,发现该平台在商品需求预测和库存控制方面均严重依赖员工的经验,需求预测结果误差较大,商品库存管理紊乱。因此,本文以提高需求预测准确度作为目标为B电商平台构建了基于多模态数据的神经网络预测模型,并根据预测结果给出了库存控制解决方案。主要研究内容如下:首先,本文创新性的考虑了B平台的多模态源数据,构建了多模态特征集群。对B电商平台的历史订单等数值模态数据,主要通过数据清洗、缺失值处理和异常值处理等特征工程方法,此外,还通过变量相关性分析得到了订单数据各变量之间的关联权重,通过Doc2vec和独热编码(one-hot)挖掘了消费者地区分布和订单快递信息、支付方式等数据的高维特征。对于文本模态的商品评价数据,本文运用了基于自然语言处理技术的SnowNLP来对商品评价进行情感计算与分析,并进一步统计了每款商品评论的情感的积和均值,得到了商品评论的情感特征向量。对于图像模态的消费者人脸图像数据,本文采用Face++提供的皮肤分析API进行人脸颜值计算获取了颜值特征向量。另外,本文还提出了一种新颖的空间特征融合策略来融合上述三种模态的特征,并且还通过消融研究证明了其优越性。然后,本文提出了一种以循环神经网络为基础的商品需求预测算法-级联混合循环神经网络。其主要是由BiLSTM网络和BiGRU网络通过级联混合策略构成。提出级联混合策略的动机是因为BiGRU的优势是模型训练和拟合速度快、计算资源消耗少,而BiLSTM的优势是在大数据集上的表征性能更好。此外,本文还利用对比分析和消融实验证明了其在B平台商品需求预测任务上的优越性能,其在未来7天和30天的需求预测上的结果显示MAE仅为(0.1717,0.8518),RMSE仅为(0.4701,8.2285)。最后,本文提出了一种基于需求量预测驱动的动态库存分类与库存控制方案。与传统的静态库存商品分类方法不同的是,本文基于神经网络需求预测结果,使用K-Means算法对库存商品进行聚类,并结合B平台实际,聚类为三类商品。对第1类和第2类需求较大,流通天数较短的商品使用(R,S)库存控制策略;对第3类需求较少,流通天数较长的商品使用(t,S)库存控制策略,由此给出了 B平台库存控制解决方案。研究结果表明:(1)考虑多模态数据有助于提升B电商平台商品需求预测的准确度;(2)提出的级联混合循环神经网络模型不管在仿真实验还是实证研究中都取得了优异的成绩,预测误差较低;(3)提出的基于需求量预测驱动的动态库存分类与库存控制方案能够得到较为精确的安全库存量、订货点和经济订货批量,这在一定程度上提升了B电商平台的库存管理能力;(4)本文方法是一种通用技术,只需在特征工程阶段经过少许调整就可以适用于其他行业的电商平台,因此对相关行业的市场需求预测和库存管理也具有积极的参考价值。

基于知识图谱的多模态可解释服装推荐

这是一篇关于服装推荐,多模态数据,知识图谱,图神经网络,可解释推荐的论文, 主要内容为随着近些年来电子商务平台的繁荣发展,存在于互联网上的时尚商品数据总量呈指数级爆炸增长,海量的服装数据虽然提供了更多的选择,但也导致了信息过载现象,这使得用户眼花缭乱,难以有效地从中找到他们心仪的商品。因此,个性化的时尚商品推荐技术受到了研究者们的广泛关注。该类方法旨在根据用户的历史行为以及某些辅助信息来建模用户的个性化偏好,并基于此从大量的服装数据中为用户推荐其最可能感兴趣的商品。与传统的推荐任务,诸如新闻推荐,电影推荐不同,除了用户和商品的交互信息之外,时尚商品推荐或者说服装推荐任务更加重视对服装视觉特征的利用,因为服装的视觉图片不仅蕴含有大量的服装商品信息,同时也是影响用户选择的重要因素之一。有鉴于此,研究者们目前已经提出了诸多视觉增强的服装推荐方法。尽管这些工作已经取得了令人振奋的进展,但是这些工作都存在一些问题,它们或是忽视了视觉图片在对服装商品进行描述上所存在的局限性;或是忽视了引入某些非结构化数据(如用户评论)而导致的数据噪音;更重要的是,它们大多都忽视了知识图谱与图网络模型在利用属性等结构化数据来发掘用户细粒度时尚偏好上的潜力。事实上,知识图谱与图神经网络已经在计算机视觉和推荐系统等诸多领域得到了广泛的应用,包括场景图生成、动作识别、影视推荐等。除此之外,图神经网络在提高推荐模型的可解释性上也有很大的帮助。为此,本文中提出了一种基于知识图谱的多模态可解释推荐算法(Multi-modal Explainable Fashion Recommendation based on Knowledge Graph)来解决个性化服装推荐问题,简称MEFR。具体来说,为了应对异构的多模态数据,本文分别引入了面向属性和面向视觉的协作知识图,并设计了 MEFR的三个关键组件:基于属性知识图谱的表示学习、基于视觉的表示学习和多模态增强的偏好预测。为了更好地建模各种关系类型,本文提出了一种新颖的关系感知传播方法,用于自适应地聚合来自邻居节点的信息,以促进用户和服装表示学习。除此以外,为了缓解不均衡的属性分布问题,本文在关系感知置信分配中引入了深度多任务学习策略。在真实世界数据集上进行的大量实验表明了文本所提的方法在个性化服装推荐任务上的有效性。

基于深度学习的推荐系统方法研究

这是一篇关于推荐系统,深度学习,多模态数据,数据稀疏性的论文, 主要内容为在大数据时代,“信息过载”问题成为一种新的困扰。推荐系统作为一种有效的信息过滤手段在人们的生活生产中扮演着越来越重要的角色。伴随着人工智能的蓬勃发展,深度学习技术被越来越多地应用到自然语言处理、图像识别等领域,并取得了显著的研究成果。将深度学习应用于推荐系统,可以更有效地从纷繁复杂的数据中分析用户偏好,发现用户需求。因此基于深度学习的推荐系统成为推荐系统的一个重要研究方向。随着互联网技术的快速发展,用户-项目评分数据变得越来越稀疏,大大增加了推荐的难度。本文基于深度学习技术,从多模态数据和推荐算法两个方面着手,展开针对数据稀疏性问题的研究。其一,利用深度学习技术从多模态数据中学习更深层次的用户潜在特征表示和项目潜在特征表示。其二,构建基于深度学习的推荐模型,学习用户和项目之间的复杂的交互关系,提高推荐系统性能。本文的主要研究内容如下:(1)针对数据稀疏性问题及在数据稀疏环境下用户的特征分布问题,提出一种基于神经网络的约束概率矩阵分解模型。由于用户评分历史不同,不同用户应该具有不同的特征分布。因此,本文将用户评分项目融入到用户潜在特征的构建过程。同时,使用卷积神经网络从项目的文本描述信息中提取深层次的项目潜在特征。最后利用多层感知机融合用户和项目潜在特征,更好地捕捉用户和项目之间的非线性交互特征,提升评分预测准确性。(2)为了进一步缓解数据稀疏性问题,提出了一种基于多模态用户-项目交互行为信息的推荐方法。为了能在数据稀疏的环境下获取更加准确的用户潜在特征表示和项目潜在特征表示,考虑了用户偏好变化过程和多模态数据。首先利用卷积神经网络从项目文本辅助信息中提取每个项目的潜在特征,然后根据用户-项目交互行为,将与用户存在交互的项目对应的潜在特征和评分数据相结合,并输入长短时记忆网络来学习动态的用户潜在特征表示,最后利用sigmoid函数预测用户与项目之间存在交互的可能性并形成推荐列表。

基于深度学习的推荐系统方法研究

这是一篇关于推荐系统,深度学习,多模态数据,数据稀疏性的论文, 主要内容为在大数据时代,“信息过载”问题成为一种新的困扰。推荐系统作为一种有效的信息过滤手段在人们的生活生产中扮演着越来越重要的角色。伴随着人工智能的蓬勃发展,深度学习技术被越来越多地应用到自然语言处理、图像识别等领域,并取得了显著的研究成果。将深度学习应用于推荐系统,可以更有效地从纷繁复杂的数据中分析用户偏好,发现用户需求。因此基于深度学习的推荐系统成为推荐系统的一个重要研究方向。随着互联网技术的快速发展,用户-项目评分数据变得越来越稀疏,大大增加了推荐的难度。本文基于深度学习技术,从多模态数据和推荐算法两个方面着手,展开针对数据稀疏性问题的研究。其一,利用深度学习技术从多模态数据中学习更深层次的用户潜在特征表示和项目潜在特征表示。其二,构建基于深度学习的推荐模型,学习用户和项目之间的复杂的交互关系,提高推荐系统性能。本文的主要研究内容如下:(1)针对数据稀疏性问题及在数据稀疏环境下用户的特征分布问题,提出一种基于神经网络的约束概率矩阵分解模型。由于用户评分历史不同,不同用户应该具有不同的特征分布。因此,本文将用户评分项目融入到用户潜在特征的构建过程。同时,使用卷积神经网络从项目的文本描述信息中提取深层次的项目潜在特征。最后利用多层感知机融合用户和项目潜在特征,更好地捕捉用户和项目之间的非线性交互特征,提升评分预测准确性。(2)为了进一步缓解数据稀疏性问题,提出了一种基于多模态用户-项目交互行为信息的推荐方法。为了能在数据稀疏的环境下获取更加准确的用户潜在特征表示和项目潜在特征表示,考虑了用户偏好变化过程和多模态数据。首先利用卷积神经网络从项目文本辅助信息中提取每个项目的潜在特征,然后根据用户-项目交互行为,将与用户存在交互的项目对应的潜在特征和评分数据相结合,并输入长短时记忆网络来学习动态的用户潜在特征表示,最后利用sigmoid函数预测用户与项目之间存在交互的可能性并形成推荐列表。

面向领域的多模态数据存储与检索方法研究

这是一篇关于智能制造,多模态数据,数据统一表示,跨模态检索的论文, 主要内容为近年来,制造业等领域在设计、生产、销售和服务环节中产生了文本、图像、音视频等海量多模态数据,如何高效地管理与利用这些数据资源为制造业等领域再生产创造价值是当前企业面临的重大难题。传统的数据存储与检索系统将多模态数据按照不同的形式或者模态进行分类并单独处理,导致了跨模态数据之间缺乏关联(文本、图像、音视频数据之间无法高效互检),无法支持企业业务流程的问题。因此,为了高效利用企业的多模态数据资源,提高企业对多模态数据的整合与管理能力,满足用户对所需服务的功能性需求。以服装智能制造场景为例,本文设计并实现了一个多模态数据存储与检索系统,对其内部中的海量多模态数据进行高效整合利用,并构建能正确存储多种形式和模态数据的存储结构,实现有效的跨模态检索。具体研究内容如下:(1)针对多模态数据的统一管理问题,首先需要设计适当的存储模型。第一,统一表示,第二不同存储模式。行之有效的跨模态检索,需要将海量的多模态数据映射到同一空间下进行表示。本文首先采集、预处理、分类整合多模态数据;然后,多模态数据通过已训练的网络模型进行特征提取,将其转化为向量,其次,转化后的多模态向量经过跨模态模型处理映射到同一空间下,最后,为了实现数据在不同模态下应如何存储的需求,定义存储结构,设计多种存储模式从而实现多模态数据的统一表示。(2)针对转化得到的多模态向量检索问题。本文提出检索框架、分类算法,向量相似度计算算法三者相结合的检索方法机制。并以服装领域为验证,针对服装制造领域的多模态数据设计并实现正向索引,倒排索引,聚类等相结合的跨模态索引结构辅助其高效检索。(3)在面向领域的多模态数据统一表示与检索方法研究基础上,对多模态数据存储与检索系统进行设计与实现,在多模态数据集上检验多模态数据存储与检索方法是否正确有效,测试系统的整体性能,比如速率,准确率,召回率等,返回结果最终显示到系统前端。

基于知识图谱的多模态可解释服装推荐

这是一篇关于服装推荐,多模态数据,知识图谱,图神经网络,可解释推荐的论文, 主要内容为随着近些年来电子商务平台的繁荣发展,存在于互联网上的时尚商品数据总量呈指数级爆炸增长,海量的服装数据虽然提供了更多的选择,但也导致了信息过载现象,这使得用户眼花缭乱,难以有效地从中找到他们心仪的商品。因此,个性化的时尚商品推荐技术受到了研究者们的广泛关注。该类方法旨在根据用户的历史行为以及某些辅助信息来建模用户的个性化偏好,并基于此从大量的服装数据中为用户推荐其最可能感兴趣的商品。与传统的推荐任务,诸如新闻推荐,电影推荐不同,除了用户和商品的交互信息之外,时尚商品推荐或者说服装推荐任务更加重视对服装视觉特征的利用,因为服装的视觉图片不仅蕴含有大量的服装商品信息,同时也是影响用户选择的重要因素之一。有鉴于此,研究者们目前已经提出了诸多视觉增强的服装推荐方法。尽管这些工作已经取得了令人振奋的进展,但是这些工作都存在一些问题,它们或是忽视了视觉图片在对服装商品进行描述上所存在的局限性;或是忽视了引入某些非结构化数据(如用户评论)而导致的数据噪音;更重要的是,它们大多都忽视了知识图谱与图网络模型在利用属性等结构化数据来发掘用户细粒度时尚偏好上的潜力。事实上,知识图谱与图神经网络已经在计算机视觉和推荐系统等诸多领域得到了广泛的应用,包括场景图生成、动作识别、影视推荐等。除此之外,图神经网络在提高推荐模型的可解释性上也有很大的帮助。为此,本文中提出了一种基于知识图谱的多模态可解释推荐算法(Multi-modal Explainable Fashion Recommendation based on Knowledge Graph)来解决个性化服装推荐问题,简称MEFR。具体来说,为了应对异构的多模态数据,本文分别引入了面向属性和面向视觉的协作知识图,并设计了 MEFR的三个关键组件:基于属性知识图谱的表示学习、基于视觉的表示学习和多模态增强的偏好预测。为了更好地建模各种关系类型,本文提出了一种新颖的关系感知传播方法,用于自适应地聚合来自邻居节点的信息,以促进用户和服装表示学习。除此以外,为了缓解不均衡的属性分布问题,本文在关系感知置信分配中引入了深度多任务学习策略。在真实世界数据集上进行的大量实验表明了文本所提的方法在个性化服装推荐任务上的有效性。

基于知识图谱的多模态可解释服装推荐

这是一篇关于服装推荐,多模态数据,知识图谱,图神经网络,可解释推荐的论文, 主要内容为随着近些年来电子商务平台的繁荣发展,存在于互联网上的时尚商品数据总量呈指数级爆炸增长,海量的服装数据虽然提供了更多的选择,但也导致了信息过载现象,这使得用户眼花缭乱,难以有效地从中找到他们心仪的商品。因此,个性化的时尚商品推荐技术受到了研究者们的广泛关注。该类方法旨在根据用户的历史行为以及某些辅助信息来建模用户的个性化偏好,并基于此从大量的服装数据中为用户推荐其最可能感兴趣的商品。与传统的推荐任务,诸如新闻推荐,电影推荐不同,除了用户和商品的交互信息之外,时尚商品推荐或者说服装推荐任务更加重视对服装视觉特征的利用,因为服装的视觉图片不仅蕴含有大量的服装商品信息,同时也是影响用户选择的重要因素之一。有鉴于此,研究者们目前已经提出了诸多视觉增强的服装推荐方法。尽管这些工作已经取得了令人振奋的进展,但是这些工作都存在一些问题,它们或是忽视了视觉图片在对服装商品进行描述上所存在的局限性;或是忽视了引入某些非结构化数据(如用户评论)而导致的数据噪音;更重要的是,它们大多都忽视了知识图谱与图网络模型在利用属性等结构化数据来发掘用户细粒度时尚偏好上的潜力。事实上,知识图谱与图神经网络已经在计算机视觉和推荐系统等诸多领域得到了广泛的应用,包括场景图生成、动作识别、影视推荐等。除此之外,图神经网络在提高推荐模型的可解释性上也有很大的帮助。为此,本文中提出了一种基于知识图谱的多模态可解释推荐算法(Multi-modal Explainable Fashion Recommendation based on Knowledge Graph)来解决个性化服装推荐问题,简称MEFR。具体来说,为了应对异构的多模态数据,本文分别引入了面向属性和面向视觉的协作知识图,并设计了 MEFR的三个关键组件:基于属性知识图谱的表示学习、基于视觉的表示学习和多模态增强的偏好预测。为了更好地建模各种关系类型,本文提出了一种新颖的关系感知传播方法,用于自适应地聚合来自邻居节点的信息,以促进用户和服装表示学习。除此以外,为了缓解不均衡的属性分布问题,本文在关系感知置信分配中引入了深度多任务学习策略。在真实世界数据集上进行的大量实验表明了文本所提的方法在个性化服装推荐任务上的有效性。