基于多模态知识图谱的图像语义关联与扩展系统

这是一篇关于多模态知识图谱,图像语义关联,实体链接,计算机学科,知识表示学习的论文, 主要内容为知识图谱是一种用图模型来描述世界万物之间关联关系的技术方法,提供了一种高效地组织、管理和理解海量信息的能力,在语义搜索、智能问答、辅助语言理解等多个领域发挥出越来越重要的作用。现有的开放知识图谱或者领域知识图谱扩充,很少考虑将图像作为知识抽取对象,这就使得知识图谱主要基于文本,无法实现可视化的基于图像语义的查询。为了实现多模态知识图谱中多模态数据的扩充,本文以计算机教育领域为例,设计了一个基于多模态知识图谱的图像语义关联与扩展系统,帮助用户实现图像语义与开放知识库之间的关联。主要的研究内容有以下几点:1)面向计算机学科领域提出一种多模态信息相关度计算的实体链接方法。利用YOLOV5识别图像中视觉实体,结合视觉实体提取并筛选图像文本描述中三元组;面向计算机学科领域提出一种视觉实体链接规则(Visual Entity Link Rules,VELR),为了有效完成链接,依次利用图像视觉实体和筛选后三元组中头尾实体来寻找最佳链接点,并为不同的链接点设置不同的链接策略,且规则中充分利用图像视觉实体和筛选后的三元组对关联后的实体进行扩展。2)提出一种基于自注意力门控机制的多模态知识表示学习实体链接方法。先提出一种多模态知识表示学习模型用于融合多模态信息特征。通过VGG16抽取增强后图像的特征向量,利用BERT和CNN提取出图像文本描述的单词级特征和短语级特征;通过自注意力机制和门控神经网络进行将不同模态的向量进行融合得到一条多模态特征向量。利用YOLOV5和命名实体识别模型分别获得图像指称实体和文本指称实体,再通过相似度计算在多模态知识图谱中寻找尽可能多的候选实体组成候选实体集。计算指称实体和候选实体多模态特征向量之间的相似度,选取相似度最高的候选实体作为关联点。3)设计了基于多模态知识图谱的图像语义关联与扩展系统。设计一个基于多模态知识图谱的图像语义关联与扩展系统,实现了以上提出的两种多模态实体链接方法。用户可以自主选择两种实体链接技术使图像关联到多模态知识图谱的对应的结点上,再结合其文本描述实现关联后节点的扩展。

面向计算机领域的多模态知识图谱构建方法研究

这是一篇关于学科知识图谱,多模态知识图谱,领域实体抽取,关系挖掘,多模态关系挖掘的论文, 主要内容为知识图谱以其强大的知识组织能力及推理能力对人工智能的发展有着重要作用,因此受到广泛关注。知识图谱根据内容的不同分为通用知识图谱和领域知识图谱,通用知识图谱是对全领域知识的组织,领域知识图谱则是面向特定领域信息的组织,随着智慧教育的发展,学科知识图谱的构建成为不可或缺的一部分工作,而多模态的学科知识图谱可以将知识以不同的形式表达,不仅可以丰富知识图谱的信息,还可以适应不同学习者的学习风格。因此,为了更好的促进智慧教育的发展,需要研究一种高效的多模态学科知识图谱构建方法。本文以构建计算机科学领域多模态知识图谱为例,提出构建领域实体集的方法,并基于已有的大型背景知识库、文本及图像的多模态信息进行领域实体间多种关系的挖掘,通过对图像信息的挖掘,实现图像实体与文本实体的对齐、图像的分类以及图像间关系的发现。本课题的主要研究工作如下:1)设计实现了一种基于图排序和最大信息增益的领域实体抽取方法。在领域文本资源中利用实体的结构相关度构建实体图,通过图排序算法抽取领域核心实体,然后在DBpedia中利用最大信息增益原理进行实体扩展,获得较为全面的领域实体。分别在数据结构领域数据集和CSEN、EcoEN公开数据集上进行实体抽取方法评估,在INEX公开数据集上进行实体扩展方法评估。实验结果表明,领域实体抽取方法能够有效构建较为全面、准确的领域实体集。2)设计了基于文本结构、实体属性和图像信息特征的先序关系抽取的方法,利用RF模型实现先序关系的二分类。首先通过实体聚类将相似度较高的实体形成簇,在簇内进行先序关系的判别以降低实验的计算量和时间复杂度,在相对常用的先序关系抽取特征的基础上,设计了利用图像信息挖掘先序关系的特征,将是否存在先序关系转化为分类问题,利用分类器进行先序关系判别,通过查全率、查准率和F1值对实验方法进行评价。为了丰富领域关系,对领域知识进行分析并设计了计算机科学领域的独特关系,最后通过对领域本体的丰富,实现了抽取知识和领域本体的链接。3)设计了基于多级信息源的多模态实体对齐算法以及基于神经网络模型和规则设计的多模态实体间关系抽取方法。利用OCR技术对图像内文本信息进行识别、对图像周围描述信息进行实体抽取以获得图像相关实体,将其与领域实体集通过基于字符串相似的算法实现多模态实体对齐。利用ResNet神经网络模型实现图像分类,从而获得文本实体与图像间的不同关系,并通过设计图像间关系挖掘规则在图像和图像间建立关系。最后通过对构建的多模态知识图谱进行规模统计与结果可视化展示。

基于知识图谱的化妆品信息推荐研究

这是一篇关于多模态知识图谱,图神经网络,多任务学习,化妆品,推荐系统的论文, 主要内容为化妆品作为一种精细化工产品,其作为化工产业的同时,也是一种生活文化的载体。随着社会经济高速发展、新兴技术的迭代更新与人民生活质量日益提高,越来越多的人使用化妆品来美化生活,然而互联网上的化妆品信息丰富多样,用户如何根据海量且繁杂的化妆品信息选择自己合适的化妆品成为首要难点。因此,准确地向消费者与企业推荐化妆品是一个极有意义且具有挑战性的难题。推荐系统可以根据用户的历史行为习惯,探索用户的兴趣,将合适的内容推荐给用户。现有的基于知识图谱的推荐研究大多数忽略了多模态信息,亦或很少考虑到推荐系统与知识图谱嵌入之间的联系,没有很好地利用两者之间的关联进行信息互补,导致推荐效果不理想。鉴于以上问题与化妆品在化工领域的重要性以及化妆品作为精细化工产品在国民经济中的重要地位,本研究面向精细化工领域,围绕化妆品信息推荐的方法展开研究。具体而言,本研究融合化妆品多模态信息,构建化妆品信息多模态知识图谱作为推荐模型的底层支撑,推荐模型将多模态知识图谱作为辅助信息,根据用户不同的偏好,针对用户提供化妆品信息个性化推荐。本研究为提高推荐系统的准确性,在推荐系统中引入辅助信息,进一步完善用户或者项目的信息。多模态知识图谱由于其综合的辅助数据而被广泛应用于推荐系统,基于多模态知识图谱的推荐系统使用的侧面辅助信息,可以使用户-项目交互稀疏性问题和推荐冷启动问题得到改善。本研究以化妆品领域为例,提供了一套比较完备的化妆品信息多模态知识图谱构建流程,提出了一种化妆品信息多模态知识图谱构建模型LEBERT-ITMEA-ATT,该模型使用图神经网络与注意力机制结合的实体-关系抽取模型进行实体-关系抽取,使用基于注意力机制改进的LEBERT预训练语言模型进行命名实体识别,鉴于多模态知识图谱嵌入时数据量庞大导致训练成本过高,本研究在进行多模态结构化知识嵌入时,采用联合知识表示学习模型,在统一的低维语义空间中进行实现对齐操作,实体链接之后将关系三元组导入Neo4j数据库中,最终完成化妆品信息多模态知识图谱的构建。本研究在化妆品信息数据集上对模型进行对比实验,验证了本模型的有效性。本研究构建了一种基于知识图谱的多模态推荐模型MMKR-LS。本模型根据化妆品领域的数据特点,引入了多模态信息,在化妆品信息多模态知识图谱的数据支撑下,不仅能提高推荐准确性、解决推荐冷启动问题。本模型通过图神经网络提取多模态信息原始特征和聚合多模态实体信息,并且在多任务框架上进行,推荐模块与多模态知识图谱嵌入模块通过交替学习的方法进行优化和训练,使得推荐模块与知识图谱嵌入模块的信息互补。最后在公共数据集和化妆品信息数据集下进行对比实验,验证了本模型的有效性。稀疏数据场景实验验证了即使在数据稀疏场景下,本模型也能保持良好的性能。本研究在化妆品信息多模态知识图谱构建和MMKR-LS推荐模型构建的基础上进一步开展应用研究,设计并开发了一个化妆品信息推荐原型系统,为化妆品用户和行业提供应用示范,以证明应用可行性及推广价值。该系统针对用户对化妆品信息的需求,提供化妆品信息推荐,除了化妆品的基本属性介绍,还有相应的图片展示,有效提升推荐结果表现力的同时为用户提供个性化推荐。

基于知识图谱的化妆品信息推荐研究

这是一篇关于多模态知识图谱,图神经网络,多任务学习,化妆品,推荐系统的论文, 主要内容为化妆品作为一种精细化工产品,其作为化工产业的同时,也是一种生活文化的载体。随着社会经济高速发展、新兴技术的迭代更新与人民生活质量日益提高,越来越多的人使用化妆品来美化生活,然而互联网上的化妆品信息丰富多样,用户如何根据海量且繁杂的化妆品信息选择自己合适的化妆品成为首要难点。因此,准确地向消费者与企业推荐化妆品是一个极有意义且具有挑战性的难题。推荐系统可以根据用户的历史行为习惯,探索用户的兴趣,将合适的内容推荐给用户。现有的基于知识图谱的推荐研究大多数忽略了多模态信息,亦或很少考虑到推荐系统与知识图谱嵌入之间的联系,没有很好地利用两者之间的关联进行信息互补,导致推荐效果不理想。鉴于以上问题与化妆品在化工领域的重要性以及化妆品作为精细化工产品在国民经济中的重要地位,本研究面向精细化工领域,围绕化妆品信息推荐的方法展开研究。具体而言,本研究融合化妆品多模态信息,构建化妆品信息多模态知识图谱作为推荐模型的底层支撑,推荐模型将多模态知识图谱作为辅助信息,根据用户不同的偏好,针对用户提供化妆品信息个性化推荐。本研究为提高推荐系统的准确性,在推荐系统中引入辅助信息,进一步完善用户或者项目的信息。多模态知识图谱由于其综合的辅助数据而被广泛应用于推荐系统,基于多模态知识图谱的推荐系统使用的侧面辅助信息,可以使用户-项目交互稀疏性问题和推荐冷启动问题得到改善。本研究以化妆品领域为例,提供了一套比较完备的化妆品信息多模态知识图谱构建流程,提出了一种化妆品信息多模态知识图谱构建模型LEBERT-ITMEA-ATT,该模型使用图神经网络与注意力机制结合的实体-关系抽取模型进行实体-关系抽取,使用基于注意力机制改进的LEBERT预训练语言模型进行命名实体识别,鉴于多模态知识图谱嵌入时数据量庞大导致训练成本过高,本研究在进行多模态结构化知识嵌入时,采用联合知识表示学习模型,在统一的低维语义空间中进行实现对齐操作,实体链接之后将关系三元组导入Neo4j数据库中,最终完成化妆品信息多模态知识图谱的构建。本研究在化妆品信息数据集上对模型进行对比实验,验证了本模型的有效性。本研究构建了一种基于知识图谱的多模态推荐模型MMKR-LS。本模型根据化妆品领域的数据特点,引入了多模态信息,在化妆品信息多模态知识图谱的数据支撑下,不仅能提高推荐准确性、解决推荐冷启动问题。本模型通过图神经网络提取多模态信息原始特征和聚合多模态实体信息,并且在多任务框架上进行,推荐模块与多模态知识图谱嵌入模块通过交替学习的方法进行优化和训练,使得推荐模块与知识图谱嵌入模块的信息互补。最后在公共数据集和化妆品信息数据集下进行对比实验,验证了本模型的有效性。稀疏数据场景实验验证了即使在数据稀疏场景下,本模型也能保持良好的性能。本研究在化妆品信息多模态知识图谱构建和MMKR-LS推荐模型构建的基础上进一步开展应用研究,设计并开发了一个化妆品信息推荐原型系统,为化妆品用户和行业提供应用示范,以证明应用可行性及推广价值。该系统针对用户对化妆品信息的需求,提供化妆品信息推荐,除了化妆品的基本属性介绍,还有相应的图片展示,有效提升推荐结果表现力的同时为用户提供个性化推荐。

面向猪病的命名实体识别及知识图谱构建研究与应用

这是一篇关于命名实体识别,多模态知识图谱,猪病,知识问答,知识融合的论文, 主要内容为目前,生猪养殖成为了全球重要产业之一。然而,由于养殖规模扩大和密集养殖等原因,各种疾病成为养猪生产的重要制约因素。对于养殖人员来说,掌握猪病的预防和诊疗技术,采取有效的防控措施,是养猪业健康发展的重要保障。由于猪病领域知识来源广泛,且数据的存储与表示方式多样,养殖人员难以高效快速地得到相关疾病知识。随着人工智能和大数据技术的快速发展,自然语言处理技术和知识图谱构建技术广泛应用于各个领域,面向猪病领域的知识抽取和知识图谱构建将有望解决这一问题。本文以猪病领域知识缺乏为入手点,重点研究领域命名实体识别,通过利用知识图谱构建中其他关键技术,研究如何构建高质量猪病领域知识图谱,为猪病知识问答系统提供数据支持,从而实现猪病知识精准问答。本文主要工作如下:(1)构建猪病领域语料库。针对猪病领域缺少公开的语料库,本文构建了猪病领域命名实体识别语料库。从多个数据源获取到猪病领域文本37余万字,经过对语料清洗、标注等预处理操作后,共得到十一种类型的实体10783个,相关疾病图片1696张。该数据集的构建和图片的获得为猪病领域命名实体识别研究以及猪病多模态知识图谱构建提供了数据支撑。(2)研究猪病领域命名实体识别算法。针对猪病领域文本的专业术语多,实体结构复杂导致边界模糊等问题。本文提出基于CNN和多头自注意机制的命名实体识别模型,使用预训练模型得到词向量表示,再输入CNN以得到更多局部上下文特征。然后用BILSTM处理CNN层提取的局部特征使其更加全局化,多头自注意机制用于得到CNN输出信息之间的相关性强度和全局特征表示。最后,对上面两个模块的输出组合并送到CRF层,以获得最可能的全局最优标签序列。结果表明,本文提出的方法相较于其他方法都有较好的表现。(3)构建猪病领域多模态知识图谱。本文对定义的十一种实体类型,利用上述命名实体识别算法获取到不同类型实体,并通过预定义十种关系类型对提取出的实体进行关系分类,并对多源数据进行知识融合,利用Neo4j图数据库实现猪病知识存储,构建猪病领域多模态知识图谱,为下游知识图谱问答系统奠定基础。(4)设计并实现猪病知识服务系统。基于上述研究工作,实现猪病知识问答,主要实现过程包括问句实体识别、问句分类、图谱查询等。用户通过系统输入问题,系统利用深度学习模型对问句进行实体识别,并根据问句关键词实现问题分类。然后系统通过分类结果,映射成Cypher查询模板并生成查询语句,查询知识图谱中的答案并返回输出,最终实现图谱可视化和知识问答功能。

多模态领域知识图谱构建方法及应用研究

这是一篇关于多模态知识图谱,标签对齐,知识融合,知识表示,信息抽取的论文, 主要内容为知识图谱(Knowledge Graph)作为知识组织和管理的有效模式,被广泛应用于知识检索、知识更新、问答等领域,其构建方法的研究受到了越来越多的关注。当前的图谱构建大多集中于文本单模态图谱,然而,图像、视频、音频等数据的大量涌现,使得多模态知识管理与表示的需求也更为迫切。因此,本文面向特定领域,整合多模态数据资源,应用实体抽取、关系抽取、数据融合和知识表示等构建方法,开展了多模态知识图谱的构建研究,具体研究成果如下:(1)构造了多模态数据集。面向党建领域,从第三方平台获取了文本、图片、视频数据,使用Python中的Jieba、Pandas、Numpy等工具技术对数据进行了去重、去噪和归一化等处理,进而构造了多模态数据集;(2)提出了标签对齐的多模态数据融合方法(LCSMMF)。基于已构建的多模态数据集,利用引入注意力机制的分段卷积神经网络(PCNN+ATT)抽取了文本语义标签,使用卷积神经网络(CNN)提取了图片语义标签,采用人工标注抽取了视频语义标签,调用最长公共子序列(LCS)算法实现了不同模态数据的标签相似度计算,通过比较选取相似度最高标签对进行链接,实现多模态数据融合;(3)构建了多模态知识图谱。利用标签对齐的方法融合了多模态数据,并采用深度学习和人工干预等方法抽取数据中的实体及实体关系,根据抽取结果构建语义网络,实现了包含文本、图片、视频模态的党建知识图谱;(4)开发了基于多模态知识库的智能导航实验系统。综合应用neo4j、pycharm、Django等技术方法,构建了Windows下运行的智能导航验证平台,为用户提供多模态党建知识图谱的展示、知识导航及语义检索等功能。

面向猪病的命名实体识别及知识图谱构建研究与应用

这是一篇关于命名实体识别,多模态知识图谱,猪病,知识问答,知识融合的论文, 主要内容为目前,生猪养殖成为了全球重要产业之一。然而,由于养殖规模扩大和密集养殖等原因,各种疾病成为养猪生产的重要制约因素。对于养殖人员来说,掌握猪病的预防和诊疗技术,采取有效的防控措施,是养猪业健康发展的重要保障。由于猪病领域知识来源广泛,且数据的存储与表示方式多样,养殖人员难以高效快速地得到相关疾病知识。随着人工智能和大数据技术的快速发展,自然语言处理技术和知识图谱构建技术广泛应用于各个领域,面向猪病领域的知识抽取和知识图谱构建将有望解决这一问题。本文以猪病领域知识缺乏为入手点,重点研究领域命名实体识别,通过利用知识图谱构建中其他关键技术,研究如何构建高质量猪病领域知识图谱,为猪病知识问答系统提供数据支持,从而实现猪病知识精准问答。本文主要工作如下:(1)构建猪病领域语料库。针对猪病领域缺少公开的语料库,本文构建了猪病领域命名实体识别语料库。从多个数据源获取到猪病领域文本37余万字,经过对语料清洗、标注等预处理操作后,共得到十一种类型的实体10783个,相关疾病图片1696张。该数据集的构建和图片的获得为猪病领域命名实体识别研究以及猪病多模态知识图谱构建提供了数据支撑。(2)研究猪病领域命名实体识别算法。针对猪病领域文本的专业术语多,实体结构复杂导致边界模糊等问题。本文提出基于CNN和多头自注意机制的命名实体识别模型,使用预训练模型得到词向量表示,再输入CNN以得到更多局部上下文特征。然后用BILSTM处理CNN层提取的局部特征使其更加全局化,多头自注意机制用于得到CNN输出信息之间的相关性强度和全局特征表示。最后,对上面两个模块的输出组合并送到CRF层,以获得最可能的全局最优标签序列。结果表明,本文提出的方法相较于其他方法都有较好的表现。(3)构建猪病领域多模态知识图谱。本文对定义的十一种实体类型,利用上述命名实体识别算法获取到不同类型实体,并通过预定义十种关系类型对提取出的实体进行关系分类,并对多源数据进行知识融合,利用Neo4j图数据库实现猪病知识存储,构建猪病领域多模态知识图谱,为下游知识图谱问答系统奠定基础。(4)设计并实现猪病知识服务系统。基于上述研究工作,实现猪病知识问答,主要实现过程包括问句实体识别、问句分类、图谱查询等。用户通过系统输入问题,系统利用深度学习模型对问句进行实体识别,并根据问句关键词实现问题分类。然后系统通过分类结果,映射成Cypher查询模板并生成查询语句,查询知识图谱中的答案并返回输出,最终实现图谱可视化和知识问答功能。

基于多模态知识图谱的推荐系统

这是一篇关于多模态知识图谱,推荐系统,图卷积神经网络的论文, 主要内容为随着信息技术以及互联网的快速发展,人们可以接触到的信息数量呈指数上升的趋势。然而,每个用户的时间是有限的,随着信息增长的速度越来越快,用户消费信息的效率反而越来越低,这种现象一般被称为信息过载(Information Overload),信息过载会使得用户无法在短时间内寻找到自己想要获得的信息。推荐系统的诞生就是为了缓解此类问题的。然而在各种互联网平台上,用户消费过的信息是非常少的,因此推荐系统也会面临数据稀疏等问题。为了解决这些问题,研究人员通常使用一些外部信息来辅助推荐算法,其中基于知识图谱的推荐算法就是最近研究者比较关注的一种。但是,大部分的此类工作都没有利用到生活中比较常见的文本和图像等多模态信息,这些信息会影响用户的决策。多模态知识图谱是将多模态信息引入到知识图谱的一种技术,因此可以作为推荐系统的知识源。在很多推荐场景中,比如电影推荐场景中的导演,演员信息;音乐推荐场景中的歌手,乐队信息等,可以利用这些常识信息构建知识图谱。在此基础上,图像视觉知识,文本知识等多模态信息可以将知识图谱丰富为多模态知识图谱,这样可以很自然的让基于知识图谱的推荐系统利用到多模态信息从而提升推荐效果。然而目前多模态知识图谱的研究还处于起步阶段,研究工作还比较少,而且推荐系统也是如今互联网非常重要的技术。因此,探索两种技术如何合理应用成为了一个有前景的工作。为了探索这个新的领域,本文提出了多模态知识图注意力网络(Multi-modal Knowledge Graph Attention Network),简称为 MKGAT模型,目的是为了利用多模态知识图谱的信息来提升推荐算法的效果。据文献调研所知,本工作是将多模态知识图谱整合到推荐系统中的首个工作。此外,本文提出的MKGAT创新性地利用改进的图神经网络(Graph Neural Networks)将多模态知识图谱中的多模态融合过程转化为图的信息传播过程,进一步丰富推荐系统中物品和用户的表征,从而提升模型的效果。最后本文构建了两个含有多模态知识图谱的推荐系统数据集,并在这两个数据集上进行了详细的实验,结果验证了本文提出的模型MKGAT的有效性。此外,本文在消融实验中也对模型的各个模块进行了分析,分析结果表明MKGAT可以高效地利用多模态知识图谱来提升推荐算法的性能。

基于知识图谱的化妆品信息推荐研究

这是一篇关于多模态知识图谱,图神经网络,多任务学习,化妆品,推荐系统的论文, 主要内容为化妆品作为一种精细化工产品,其作为化工产业的同时,也是一种生活文化的载体。随着社会经济高速发展、新兴技术的迭代更新与人民生活质量日益提高,越来越多的人使用化妆品来美化生活,然而互联网上的化妆品信息丰富多样,用户如何根据海量且繁杂的化妆品信息选择自己合适的化妆品成为首要难点。因此,准确地向消费者与企业推荐化妆品是一个极有意义且具有挑战性的难题。推荐系统可以根据用户的历史行为习惯,探索用户的兴趣,将合适的内容推荐给用户。现有的基于知识图谱的推荐研究大多数忽略了多模态信息,亦或很少考虑到推荐系统与知识图谱嵌入之间的联系,没有很好地利用两者之间的关联进行信息互补,导致推荐效果不理想。鉴于以上问题与化妆品在化工领域的重要性以及化妆品作为精细化工产品在国民经济中的重要地位,本研究面向精细化工领域,围绕化妆品信息推荐的方法展开研究。具体而言,本研究融合化妆品多模态信息,构建化妆品信息多模态知识图谱作为推荐模型的底层支撑,推荐模型将多模态知识图谱作为辅助信息,根据用户不同的偏好,针对用户提供化妆品信息个性化推荐。本研究为提高推荐系统的准确性,在推荐系统中引入辅助信息,进一步完善用户或者项目的信息。多模态知识图谱由于其综合的辅助数据而被广泛应用于推荐系统,基于多模态知识图谱的推荐系统使用的侧面辅助信息,可以使用户-项目交互稀疏性问题和推荐冷启动问题得到改善。本研究以化妆品领域为例,提供了一套比较完备的化妆品信息多模态知识图谱构建流程,提出了一种化妆品信息多模态知识图谱构建模型LEBERT-ITMEA-ATT,该模型使用图神经网络与注意力机制结合的实体-关系抽取模型进行实体-关系抽取,使用基于注意力机制改进的LEBERT预训练语言模型进行命名实体识别,鉴于多模态知识图谱嵌入时数据量庞大导致训练成本过高,本研究在进行多模态结构化知识嵌入时,采用联合知识表示学习模型,在统一的低维语义空间中进行实现对齐操作,实体链接之后将关系三元组导入Neo4j数据库中,最终完成化妆品信息多模态知识图谱的构建。本研究在化妆品信息数据集上对模型进行对比实验,验证了本模型的有效性。本研究构建了一种基于知识图谱的多模态推荐模型MMKR-LS。本模型根据化妆品领域的数据特点,引入了多模态信息,在化妆品信息多模态知识图谱的数据支撑下,不仅能提高推荐准确性、解决推荐冷启动问题。本模型通过图神经网络提取多模态信息原始特征和聚合多模态实体信息,并且在多任务框架上进行,推荐模块与多模态知识图谱嵌入模块通过交替学习的方法进行优化和训练,使得推荐模块与知识图谱嵌入模块的信息互补。最后在公共数据集和化妆品信息数据集下进行对比实验,验证了本模型的有效性。稀疏数据场景实验验证了即使在数据稀疏场景下,本模型也能保持良好的性能。本研究在化妆品信息多模态知识图谱构建和MMKR-LS推荐模型构建的基础上进一步开展应用研究,设计并开发了一个化妆品信息推荐原型系统,为化妆品用户和行业提供应用示范,以证明应用可行性及推广价值。该系统针对用户对化妆品信息的需求,提供化妆品信息推荐,除了化妆品的基本属性介绍,还有相应的图片展示,有效提升推荐结果表现力的同时为用户提供个性化推荐。