基于多模态数据的装配作业脑力负荷识别研究
这是一篇关于装配作业,脑力负荷,生理指标,支持向量机,多模态数据的论文, 主要内容为随着经济的快速发展,科学技术的推陈出新,制造企业也逐步迈入了信息化和智能化的生产轨道。产品个性化、复杂化与多元化等定制化需求的不断提高,使得装配作业的工作性质较以往相比发生了巨大的变化,作业人员在装配过程中需要更多的认知能力以应对不断发展的要求。而长时间的脑力劳动会使作业人员产生负荷过载的现象,易对企业的生产效率与系统的安全性产生不利的影响。因此,以“人因”的视角作为切入点,采用科学有效的方法监测与评估装配过程中作业人员的脑力负荷,并将其结果作为人机分工的依据,有利于提高整体的装配效率和降低人因失误率,最终优化制造系统的人机效率。首先,本文利用实验室现有的设备,通过模拟装配作业设计了三种不同难度的装配任务,在执行任务过程中使用NASA-TLX收集作业人员的主观数据;Ergo LAB云平台记录整个实验过程所需的时间,并采集脉搏信号、呼吸信号与肌电信号,并用BP脑电仪收集脑电信号。其次,本文运用主观评定测量法与生理指标测量法相结合的方法来研究脑力负荷,不同的外周生理信号与脑电信号的变化会引起脑力负荷的变化。并且提取了脑电信号的能量谱特征,脉搏信号的心率变异率,呼吸信号的呼吸均值与呼吸幅度,肌电信号的肌电振幅的均方根与中值频率几个特征组。对收集的主观评分、任务绩效与生理数据使用SPSS统计分析软件进行方差分析、T检验与相关性分析,提取出有显著差异的特征指标。结果表明,呼吸指标随任务难度的增加而显著增加,脉搏指标在任务间无显著差异,脑电信号的Alpha能量波在任务间有显著差异,肌电指标在任务间无显著差异。最后,本文通过信息融合理论,提出了多模态生理指标作业人员脑力负荷的评估方法。本文通过建立支持向量机分类模型的方法,在特征层上对已初步提取的特征分别进行训练,并与其他分类器进行比较分析。分类结果表明:在单一模态中,脑电信号的分类准确率高于呼吸指标与脉搏指标;在双模态组合指标中,EEG与PPG组合信号的准确率比EEG与呼吸组合信号和PPG与呼吸组合信号的准确率要高;多模态数据的分类准确率普遍优于单一模态与双模态数据的分类准确率,且在支持向量机模型中的分类准确率最高。在以人为中心的装配作业中,在保证生产效率的条件下,实时地监测操作者脑力负荷的变化,分析脑力负荷与工作绩效的状态特征。对于改善操作者的身心健康、提高其工作效率以及制定行之有效的管理策略有着重要作用,具有重要的实践意义。
基于知识图谱的多模态可解释服装推荐
这是一篇关于服装推荐,多模态数据,知识图谱,图神经网络,可解释推荐的论文, 主要内容为随着近些年来电子商务平台的繁荣发展,存在于互联网上的时尚商品数据总量呈指数级爆炸增长,海量的服装数据虽然提供了更多的选择,但也导致了信息过载现象,这使得用户眼花缭乱,难以有效地从中找到他们心仪的商品。因此,个性化的时尚商品推荐技术受到了研究者们的广泛关注。该类方法旨在根据用户的历史行为以及某些辅助信息来建模用户的个性化偏好,并基于此从大量的服装数据中为用户推荐其最可能感兴趣的商品。与传统的推荐任务,诸如新闻推荐,电影推荐不同,除了用户和商品的交互信息之外,时尚商品推荐或者说服装推荐任务更加重视对服装视觉特征的利用,因为服装的视觉图片不仅蕴含有大量的服装商品信息,同时也是影响用户选择的重要因素之一。有鉴于此,研究者们目前已经提出了诸多视觉增强的服装推荐方法。尽管这些工作已经取得了令人振奋的进展,但是这些工作都存在一些问题,它们或是忽视了视觉图片在对服装商品进行描述上所存在的局限性;或是忽视了引入某些非结构化数据(如用户评论)而导致的数据噪音;更重要的是,它们大多都忽视了知识图谱与图网络模型在利用属性等结构化数据来发掘用户细粒度时尚偏好上的潜力。事实上,知识图谱与图神经网络已经在计算机视觉和推荐系统等诸多领域得到了广泛的应用,包括场景图生成、动作识别、影视推荐等。除此之外,图神经网络在提高推荐模型的可解释性上也有很大的帮助。为此,本文中提出了一种基于知识图谱的多模态可解释推荐算法(Multi-modal Explainable Fashion Recommendation based on Knowledge Graph)来解决个性化服装推荐问题,简称MEFR。具体来说,为了应对异构的多模态数据,本文分别引入了面向属性和面向视觉的协作知识图,并设计了 MEFR的三个关键组件:基于属性知识图谱的表示学习、基于视觉的表示学习和多模态增强的偏好预测。为了更好地建模各种关系类型,本文提出了一种新颖的关系感知传播方法,用于自适应地聚合来自邻居节点的信息,以促进用户和服装表示学习。除此以外,为了缓解不均衡的属性分布问题,本文在关系感知置信分配中引入了深度多任务学习策略。在真实世界数据集上进行的大量实验表明了文本所提的方法在个性化服装推荐任务上的有效性。
面向电力设备缺陷数据的多模态知识图谱研究
这是一篇关于电力知识图谱,多模态数据,电力设备,目标检测,知识抽取的论文, 主要内容为随着智能电网发展和电力行业信息化的建设,电力大数据爆发并呈现快速增长趋势,然而电力数据呈现出以文本、图像、视频和音频等多种形式存在的多源异构性,给数据共享、信息管理和数据应用挖掘带来了很大的困难。知识图谱作为一种新的知识表示方法和数据管理模型,可以在知识获取、数据融合、运行维护等诸多领域实现高效应用。但是传统的知识图谱只能应用文本数据来构建知识图谱,忽视了数据量大、内容多且覆盖广的图像数据,为此,本文将电力文本数据与图像数据结合,构建面向电力设备缺陷数据的多模态知识图谱,所做工作与成果如下:1.针对电力设备小目标缺陷识别存在漏检的问题,提出了改进的YOLOv5算法,有效地增加了输出层和锚框的数量,更好地检测电力设备图像及其小目标缺陷,并修改损失函数与边界框抑制,以快速准确地定位图像缺陷区域,提高对遮挡重叠对象的检测性能。通过实验验证,改进算法有效提高了对绝缘子,变压器等多种电力设备及其缺陷识别的准确率和召回率,为后续多模态知识图谱的构建奠定了基础。2.针对目前电力领域知识图谱缺乏的情况,构建了针对电力设备缺陷文本数据的知识图谱。使用基于互信息和左右熵的无监督词发现算法对语料进行短语提取,再投入jieba工具中进行分词并进行人工标注,利用双向长短期记忆模型和条件随机场模型实现知识抽取。随后通过配对实体的方式实现知识融合,并存储于Neo4j图数据库中,构建文本知识图谱。3.针对传统知识图谱方法仅从结构化三元组中学习知识表示这一问题,本文融合目标检测后的电力设备图像与构建的电力设备缺陷文本知识图谱,将识别后的电力设备图像与文本知识图谱进行配对,并利用Interactive Graph图数据库实现知识存储,构建面向电力设备缺陷数据的多模态知识图谱,实现知识查询和辅助决策。
基于多模态数据的装配作业脑力负荷识别研究
这是一篇关于装配作业,脑力负荷,生理指标,支持向量机,多模态数据的论文, 主要内容为随着经济的快速发展,科学技术的推陈出新,制造企业也逐步迈入了信息化和智能化的生产轨道。产品个性化、复杂化与多元化等定制化需求的不断提高,使得装配作业的工作性质较以往相比发生了巨大的变化,作业人员在装配过程中需要更多的认知能力以应对不断发展的要求。而长时间的脑力劳动会使作业人员产生负荷过载的现象,易对企业的生产效率与系统的安全性产生不利的影响。因此,以“人因”的视角作为切入点,采用科学有效的方法监测与评估装配过程中作业人员的脑力负荷,并将其结果作为人机分工的依据,有利于提高整体的装配效率和降低人因失误率,最终优化制造系统的人机效率。首先,本文利用实验室现有的设备,通过模拟装配作业设计了三种不同难度的装配任务,在执行任务过程中使用NASA-TLX收集作业人员的主观数据;Ergo LAB云平台记录整个实验过程所需的时间,并采集脉搏信号、呼吸信号与肌电信号,并用BP脑电仪收集脑电信号。其次,本文运用主观评定测量法与生理指标测量法相结合的方法来研究脑力负荷,不同的外周生理信号与脑电信号的变化会引起脑力负荷的变化。并且提取了脑电信号的能量谱特征,脉搏信号的心率变异率,呼吸信号的呼吸均值与呼吸幅度,肌电信号的肌电振幅的均方根与中值频率几个特征组。对收集的主观评分、任务绩效与生理数据使用SPSS统计分析软件进行方差分析、T检验与相关性分析,提取出有显著差异的特征指标。结果表明,呼吸指标随任务难度的增加而显著增加,脉搏指标在任务间无显著差异,脑电信号的Alpha能量波在任务间有显著差异,肌电指标在任务间无显著差异。最后,本文通过信息融合理论,提出了多模态生理指标作业人员脑力负荷的评估方法。本文通过建立支持向量机分类模型的方法,在特征层上对已初步提取的特征分别进行训练,并与其他分类器进行比较分析。分类结果表明:在单一模态中,脑电信号的分类准确率高于呼吸指标与脉搏指标;在双模态组合指标中,EEG与PPG组合信号的准确率比EEG与呼吸组合信号和PPG与呼吸组合信号的准确率要高;多模态数据的分类准确率普遍优于单一模态与双模态数据的分类准确率,且在支持向量机模型中的分类准确率最高。在以人为中心的装配作业中,在保证生产效率的条件下,实时地监测操作者脑力负荷的变化,分析脑力负荷与工作绩效的状态特征。对于改善操作者的身心健康、提高其工作效率以及制定行之有效的管理策略有着重要作用,具有重要的实践意义。
基于知识图谱的多模态可解释服装推荐
这是一篇关于服装推荐,多模态数据,知识图谱,图神经网络,可解释推荐的论文, 主要内容为随着近些年来电子商务平台的繁荣发展,存在于互联网上的时尚商品数据总量呈指数级爆炸增长,海量的服装数据虽然提供了更多的选择,但也导致了信息过载现象,这使得用户眼花缭乱,难以有效地从中找到他们心仪的商品。因此,个性化的时尚商品推荐技术受到了研究者们的广泛关注。该类方法旨在根据用户的历史行为以及某些辅助信息来建模用户的个性化偏好,并基于此从大量的服装数据中为用户推荐其最可能感兴趣的商品。与传统的推荐任务,诸如新闻推荐,电影推荐不同,除了用户和商品的交互信息之外,时尚商品推荐或者说服装推荐任务更加重视对服装视觉特征的利用,因为服装的视觉图片不仅蕴含有大量的服装商品信息,同时也是影响用户选择的重要因素之一。有鉴于此,研究者们目前已经提出了诸多视觉增强的服装推荐方法。尽管这些工作已经取得了令人振奋的进展,但是这些工作都存在一些问题,它们或是忽视了视觉图片在对服装商品进行描述上所存在的局限性;或是忽视了引入某些非结构化数据(如用户评论)而导致的数据噪音;更重要的是,它们大多都忽视了知识图谱与图网络模型在利用属性等结构化数据来发掘用户细粒度时尚偏好上的潜力。事实上,知识图谱与图神经网络已经在计算机视觉和推荐系统等诸多领域得到了广泛的应用,包括场景图生成、动作识别、影视推荐等。除此之外,图神经网络在提高推荐模型的可解释性上也有很大的帮助。为此,本文中提出了一种基于知识图谱的多模态可解释推荐算法(Multi-modal Explainable Fashion Recommendation based on Knowledge Graph)来解决个性化服装推荐问题,简称MEFR。具体来说,为了应对异构的多模态数据,本文分别引入了面向属性和面向视觉的协作知识图,并设计了 MEFR的三个关键组件:基于属性知识图谱的表示学习、基于视觉的表示学习和多模态增强的偏好预测。为了更好地建模各种关系类型,本文提出了一种新颖的关系感知传播方法,用于自适应地聚合来自邻居节点的信息,以促进用户和服装表示学习。除此以外,为了缓解不均衡的属性分布问题,本文在关系感知置信分配中引入了深度多任务学习策略。在真实世界数据集上进行的大量实验表明了文本所提的方法在个性化服装推荐任务上的有效性。
基于图神经网络的推荐方法研究
这是一篇关于推荐系统,图神经网络,数据稀疏性,多模态数据的论文, 主要内容为随着网上信息量的急剧增加,信息过载问题成为了制约网络发展的一个重要因素。个性化推荐系统作为解决信息过载问题的有效手段,得到了工业界和学术界越来越多地关注和研究。图作为一种重要的数据结构,可以表示一组对象及其之间的复杂关系。随着人工智能的发展,可以有效提取图中特征表示的图神经网络被提出,并在生物化学、经济金融等领域取得了显著的研究成果。推荐系统中的大部分数据本质上具有图结构,将图神经网络应用于推荐系统,可以更有效的从各种数据中了解用户的偏好和需求。因此基于图神经网络的推荐系统成为推荐系统领域的一个重要研究方向。信息量剧增的另一个影响是用户-物品交互数据变得越来越稀疏,相比于庞大的物品数而言,每个用户交互的物品数几乎可以忽略,这极大的影响了推荐系统的性能。本文基于图神经网络技术,结合多模态数据,研究推荐算法以期缓解数据稀疏性问题,增强个性化推荐的准确率。本文的主要研究内容如下:(1)目前基于图神经网络的推荐方法主要针对用户-物品交互图等结构化数据进行处理,而无法很好的处理非结构化的评论数据。物品评论作为用户选择购买的一种独特渠道,包含着用户对物品丰富特征的评论。因此在推荐时,在用户-物品交互图的基础上,结合评论信息可以有效的缓解数据稀疏性问题,产生更好的推荐效果。同时,大多数已提出的推荐方法通常将来自不同模态的表示简单拼接起来以进行预测,无法很好的利用不同模态的信息。针对上述问题,提出了一种用于个性化推荐的互注意力图神经网络。首先通过节点特征提取模块提取用户-物品交互图上的用户/物品节点表示,同时通过文本特征提取模块提取用户/物品评论表示,然后使用一个互注意力模块,将节点表示和评论表示互相关联,从而在训练过程中捕获节点表示和评论表示之间的相关性。(2)目前基于图神经网络的推荐方法通常使用用户过去交互的所有物品构建用户-物品交互图,然后通过在图上进行邻居聚合为用户生成长期偏好表示。然而用户偏好本质上是动态的,随着时间的推移和一些趋势流行,除了相对稳定的长期偏好外,用户也可能产生一些短期偏好,短期偏好更可能导致用户和物品产生交互。针对上述问题,提出了一个结合长期和短期用户偏好表示的图神经网络用于个性化推荐,同时将物品标题信息和描述信息纳入推荐以缓解数据稀疏性问题。最后在3个真实数据集上进行了充分的实验,验证了所提出模型的推荐效果优于目前最先进的个性化推荐方法。综上所述,本文针对目前基于图神经网络的推荐方法中存在的问题和挑战,提出了相应的解决方法和思路,并进行了相应的科学实验,为推荐系统领域的研究提出了一些可能的方向。
面向电力设备缺陷数据的多模态知识图谱研究
这是一篇关于电力知识图谱,多模态数据,电力设备,目标检测,知识抽取的论文, 主要内容为随着智能电网发展和电力行业信息化的建设,电力大数据爆发并呈现快速增长趋势,然而电力数据呈现出以文本、图像、视频和音频等多种形式存在的多源异构性,给数据共享、信息管理和数据应用挖掘带来了很大的困难。知识图谱作为一种新的知识表示方法和数据管理模型,可以在知识获取、数据融合、运行维护等诸多领域实现高效应用。但是传统的知识图谱只能应用文本数据来构建知识图谱,忽视了数据量大、内容多且覆盖广的图像数据,为此,本文将电力文本数据与图像数据结合,构建面向电力设备缺陷数据的多模态知识图谱,所做工作与成果如下:1.针对电力设备小目标缺陷识别存在漏检的问题,提出了改进的YOLOv5算法,有效地增加了输出层和锚框的数量,更好地检测电力设备图像及其小目标缺陷,并修改损失函数与边界框抑制,以快速准确地定位图像缺陷区域,提高对遮挡重叠对象的检测性能。通过实验验证,改进算法有效提高了对绝缘子,变压器等多种电力设备及其缺陷识别的准确率和召回率,为后续多模态知识图谱的构建奠定了基础。2.针对目前电力领域知识图谱缺乏的情况,构建了针对电力设备缺陷文本数据的知识图谱。使用基于互信息和左右熵的无监督词发现算法对语料进行短语提取,再投入jieba工具中进行分词并进行人工标注,利用双向长短期记忆模型和条件随机场模型实现知识抽取。随后通过配对实体的方式实现知识融合,并存储于Neo4j图数据库中,构建文本知识图谱。3.针对传统知识图谱方法仅从结构化三元组中学习知识表示这一问题,本文融合目标检测后的电力设备图像与构建的电力设备缺陷文本知识图谱,将识别后的电力设备图像与文本知识图谱进行配对,并利用Interactive Graph图数据库实现知识存储,构建面向电力设备缺陷数据的多模态知识图谱,实现知识查询和辅助决策。
基于多模态数据的装配作业脑力负荷识别研究
这是一篇关于装配作业,脑力负荷,生理指标,支持向量机,多模态数据的论文, 主要内容为随着经济的快速发展,科学技术的推陈出新,制造企业也逐步迈入了信息化和智能化的生产轨道。产品个性化、复杂化与多元化等定制化需求的不断提高,使得装配作业的工作性质较以往相比发生了巨大的变化,作业人员在装配过程中需要更多的认知能力以应对不断发展的要求。而长时间的脑力劳动会使作业人员产生负荷过载的现象,易对企业的生产效率与系统的安全性产生不利的影响。因此,以“人因”的视角作为切入点,采用科学有效的方法监测与评估装配过程中作业人员的脑力负荷,并将其结果作为人机分工的依据,有利于提高整体的装配效率和降低人因失误率,最终优化制造系统的人机效率。首先,本文利用实验室现有的设备,通过模拟装配作业设计了三种不同难度的装配任务,在执行任务过程中使用NASA-TLX收集作业人员的主观数据;Ergo LAB云平台记录整个实验过程所需的时间,并采集脉搏信号、呼吸信号与肌电信号,并用BP脑电仪收集脑电信号。其次,本文运用主观评定测量法与生理指标测量法相结合的方法来研究脑力负荷,不同的外周生理信号与脑电信号的变化会引起脑力负荷的变化。并且提取了脑电信号的能量谱特征,脉搏信号的心率变异率,呼吸信号的呼吸均值与呼吸幅度,肌电信号的肌电振幅的均方根与中值频率几个特征组。对收集的主观评分、任务绩效与生理数据使用SPSS统计分析软件进行方差分析、T检验与相关性分析,提取出有显著差异的特征指标。结果表明,呼吸指标随任务难度的增加而显著增加,脉搏指标在任务间无显著差异,脑电信号的Alpha能量波在任务间有显著差异,肌电指标在任务间无显著差异。最后,本文通过信息融合理论,提出了多模态生理指标作业人员脑力负荷的评估方法。本文通过建立支持向量机分类模型的方法,在特征层上对已初步提取的特征分别进行训练,并与其他分类器进行比较分析。分类结果表明:在单一模态中,脑电信号的分类准确率高于呼吸指标与脉搏指标;在双模态组合指标中,EEG与PPG组合信号的准确率比EEG与呼吸组合信号和PPG与呼吸组合信号的准确率要高;多模态数据的分类准确率普遍优于单一模态与双模态数据的分类准确率,且在支持向量机模型中的分类准确率最高。在以人为中心的装配作业中,在保证生产效率的条件下,实时地监测操作者脑力负荷的变化,分析脑力负荷与工作绩效的状态特征。对于改善操作者的身心健康、提高其工作效率以及制定行之有效的管理策略有着重要作用,具有重要的实践意义。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设向导 ，原文地址：https://m.bishedaima.com/lunwen/48611.html
