基于隐语义模型的情境感知音乐推荐研究
这是一篇关于推荐系统,隐语义模型,情感分析,BERT模型,XGBoost的论文, 主要内容为推荐系统在解决“信息过载”问题和提供个性化服务方面具有独特的优势。在推荐系统中,隐语义模型是一个广泛应用于众多领域的热门推荐算法,但是由于其发展时间较短,因而仍然存在推荐精度低等问题。为了解决传统隐语义模型推荐算法运用于音乐流媒体平台的低准确率推荐问题,本文充分利用网易云音乐平台上用户抒发个人情感的评论板块中的文本数据,利用挖掘到的用户情感特征因子对传统的隐语义模型进行改进,旨在增强模型的用户评分预测性能,进而提高隐语义模型推荐算法的推荐准确性。本文提出了一种融入用户情绪特征的隐语义模型(Emotion Latent Factor Model,EmotionLFM),其中用户情绪特征因子由BERT-XGBoost组合模型进行歌曲评分情感分析得到。BERT-XGBoost组合模型是借助Python语言中的Pytorch神经网络框架调用深度学习迁移模型BERT的预训练模型来提取评论文本的深层次特征,然后利用XGBoost集成学习算法库进行情感倾向分析。EmotionLFM模型是利用BERT-XGBoost组合模型得到的评论情感得分构建用户情绪修正系数向量,然后根据该向量修正隐语义模型中的用户-隐藏类别因子偏好矩阵P,以此来提高隐语义模型的评分预测性能。本文选用网易云音乐平台的用户和歌曲信息作为实验数据,首先将基于Scrapy框架爬取到的歌曲热门评论文本以及用户的隐式行为日志数据处理成模型的实验数据集,然后在Spark分布式平台上利用实验数据集将改进后的隐语义模型推荐算法EmotionLFM与传统的隐语义模型推荐算法进行歌曲推荐效果的对比实验。实验结果表明,基于EmotionLFM模型的歌曲推荐算法改善了推荐效果,提高了音乐推荐系统的推荐准确性。
基于网购商品评价的情感分析系统设计与实现
这是一篇关于文本情感分析,BERT模型,长短期记忆网络,深度学习,LDA主题模型的论文, 主要内容为文本情感分析是自然语言处理(Natural Language Processing,NLP)最重要的研究内容之一,吸引了众多学者的关注。早期研究多采用构造文本词典以及贝叶斯等传统学习算法,工作量大、准确率低,近来有文献采用卷积神经网络CNN(Convolutional Neural Networks)等深度学习算法来解决文本情感分析的准确性和速度问题。本文研究基于网购商品评价的情感分析问题,采用BERT(Bidirectional Encoder Representation from Transformers)与LSTM(Long Short-Term Memory)建立文本情感分类模型,结合LDA(Latent Dirichlet Allocation)技术对评价内容提取主题,从而进一步挖掘文本中隐含的信息。本论文分析国内外文本分类的研究现状,依托著名平台京东电商中的手机文本评价数据进行算法模型研究,结合项目实际进行系统需求分析与设计,实现了基于网购商品评价的情感分析系统,本文的主要研究内容及工作创新如下:(1)理论技术研究。本文结合文本分类、LDA主题模型等技术的国内外研究现状,对近年来文献中出现的长短期记忆网络LSTM、BERT预训练语言模型等深度学习理论和用于主题提取的LDA模型进行研究,最后讨论目前主流的前端框架。(2)数据获取与预处理。课题研究的数据是通过数据采集器对京东电商平台中的手机文本评价进行抓取,并对获取到的数据进行预处理,删除多余列和重复数据。(3)文本情感分类模型构建。文本情感分类模型采用两种方式构建,一种是基于BERT的文本情感分类模型,另外一种是基于BERT与LSTM结合的文本情感分类模型。论文分别对两种情感分类模型进行实验,结果表明,两种方式在情感分类的准确率方面基本持平,但是基于BERT与LSTM结合的文本情感分类模型具有更快的运行速度,因此,选择BERT与LSTM结合的模型来实现本系统文本情感分类功能。(4)主题模型构建。通过jieba组件对分类后的评价内容进行中文分词,结合哈工大停用词表过滤停用词,最后运用LDA主题提取技术挖掘出评价文本中的关键主题。(5)系统设计与实现。结合项目需求分析,设计功能模块和My SQL数据库以及相关数据库表,采用主流前端框架Vue.js和Python语言实现基于网购商品评价的情感分析系统,并进行系统功能测试以满足用户需求,具有良好的交互性和实用性。
基于知识图谱的高考咨询问答技术研究
这是一篇关于高考咨询,知识图谱,Neo4j图数据库,问答技术,BERT模型的论文, 主要内容为高考是众多高三学子步入大学的一个重要环节,对于学子而言由于高考成绩公布后会立刻进入志愿填报环节,所以迅速了解各大高校以及各个专业的详细情况,了解合适自己的专业,寻找合适自己的院校显得至关重要。但是,如今的网络信息增长迅速,在海量信息中寻找与此相关的信息时难免存在盲目性、耗时性。因此,提升考生及家长了解高校以及专业相关信息的速度和准确度,显得十分重要。而近年来,计算机领域各技术的飞速发展为解决这个问题奠定了良好的基础。如:因中文的自然语言处理技术(NLP)的不断完善而变得更加智能的问答系统,以及2012年被提出的谷歌知识图谱,其以图谱结构存储知识的特点使知识库表达更加简洁、清晰并可提供强大的推理能力。特别是在具体领域,制作领域内知识图谱,可以直观、有效的表达领域内各实体及其间关系。从而,基于知识图谱的高考志愿填报方面的问答式智能咨询有其发展的土壤。其可以使得高考方面信息检索变的更便捷与高效,可以将考生与家长所关心的高校及专业信息以图结构进行存储,以卡片信息形式进行展示,具有更强的直观性。因此,本文对高考咨询领域问答技术的研究着重从作为答案库的知识图谱的制作及考生与家长在咨询时会使用的问句的解析出发进行研究。主要工作有:1.构建高考咨询领域知识图谱所需知识库。运用爬虫技术从多个提供高校录取信息数据的网址及高校官网收集云南省25所本科高校的近3年各专业的录取最底分、平均分、最低位次、录取批次以及录取计划数详情和各院校的招生简章、机构设置。从而形成构建知识图谱所需数据集。2.高考咨询知识图谱的构建。利用获取的相关知识库,提出高考咨询领域知识图谱的模式层构建方案,定义知识图谱节点属性与边关系,并使用Python编程语言调用py2neo连接Neo4j图数据库,将整体知识库按照设计进行存储并展示。3.高考咨询中文问句文本分类模型创新。提出C&W-CNN-BiLSTM-Attention循环神经网络模型构架。基于CNN-BiLSTM-Attention模型,在原模型的基础上进行探索,创新性的在中文高考咨询问句分类领域进行创新,将原模型基于词向量的模式拓展为基于中文句子特点的字、词向量双通道。在原本通过词向量进行语义特征提取的基础上增添字向量分支,使得模型能够更深层次的挖掘中文句子的关键信息。4.高考咨询领域问句实体识别优化。首次使用BERT模型在高考咨询领域问句实体识别任务中与BiLSTM-CRF模型进行融合。形成BERT-BiLSTM-CRF实体识别模型。以BERT模型作为词嵌入方式替代传统Word2vec等方法解决传统Word2vec等词向量无法表征一词多义和考虑上下文语义等局限性。并且以其强大的迁移能力,使命名实体识别任务可以加快词向量训练环节,从而大大节省时间成本。
社交媒体数据采集与事实核查系统的设计与实现
这是一篇关于社交媒体,BERT模型,事实核查,数据采集的论文, 主要内容为随着互联网的高速发展,其在方便了我们的生活的同时,也造成大量虚假信息在社交媒体上的高速传播。面对社交媒体上海量的信息,如何自动识别出其中的虚假内容是近年来的热门研究方向。本文主要聚焦于事实核查领域研究,与一般的谣言检测工作不同,事实核查工作更强调具体的证据和可解释性,即需要通过证据文章、知识库或知识图谱等证据信息来判断一条声明的真伪。本文的核心目标就是设计并实现一个自动化事实核查系统。系统会主动发现社交媒体中有核查价值的推文,然后收集与推文中需核查的声明相关的网页文章作为辅助证据,再依据证据对声明进行核查分析,来判断出该声明是否是虚假信息。系统用于辅助辟谣网站工作人员进行事实核查工作。本文在算法分析方面的研究主要有两点:一是分析某条推文是否具有核查价值。在该研究中,本文先构建了中文推文核查价值数据集,然后于此数据集基础上,基于BERT模型结合下游文本分类模型进行了模型构建工作。二是对有核查价值的推文,基于网络证据进行核查分析预测,判断该推文中声明的真伪。在该研究中,考虑到真实环境中证据文章的冗余信息繁多,故需要尤其关注证据选择环节,因此模型构建为联合证据选择任务和声明验证分类任务的联合模型架构,从而促进在真实环境下对证据信息的有效提取。在系统设计与实现方面,本系统应用需组织数据采集,数据分析,数据展示,数据存储等多环节互相交互。在具体研究中,本文从系统需求分析出发,分别进行了功能性与非功能性需求分析。之后依据需求分析结果,再进行体系结构设计工作,明确系统架构设计、功能设计、模块概要设计和数据存储设计。最后依据设计方案,进行各模块的具体实现。系统最终经过软件测试后,完成在真实环境中部署上线。目前系统各功能服务正常,运行情况良好。
基于知识图谱的图书对话系统关键技术研究
这是一篇关于知识图谱,对话系统,BERT模型,深度学习的论文, 主要内容为近年来,随着深度学习技术的不断发展,对话系统的性能也逐渐提高。然而,当前的对话系统依旧存在着许多挑战和不足。人类在聊天时会根据存储在大脑里的背景知识来解读对话内容并做出与之相关的回复。若希望能够达到类似人类的交流水准,对话系统也需要融入大量的背景知识。知识驱动型对话系统为对话系统的研究提供了新的思路。知识图谱可以作为人类知识的良好载体。自从2012年谷歌提出知识图谱这一概念以来,知识图谱受到了社会各界的广泛关注。许多互联网应用均集成了知识图谱为其提供专业知识,并在性能上得到了较大的提升。古往今来,书籍是人类成长中不可或缺的精神食粮。随着信息化时代的到来,我国人均阅读需求与日俱增。人们在阅读时通常会通过某种方式去了解图书相关的信息。除了搜索引擎以外,智能对话系统提供了一种更加人性化的交互方式。然而,通用智能对话系统无法在专业领域的对话中取得较好的效果。本文构建了一个面向图书的知识驱动型对话系统,可以帮助人们更好的了解图书的相关信息。主要的研究内容如下:第一,构建了面向图书领域的知识图谱。当前互联网上缺乏较完善的图书领域的开放知识图谱。为了能够整合各类图书信息,构建一个面向图书领域的知识图谱迫在眉睫。本文构建的知识图谱以豆瓣读书平台作为数据来源。知识图谱中的实体包含图书、作者、出版社、图书类型四大类。构建知识图谱时采用自顶向下的方式。最终构建完毕的图书知识图谱包含114810个实体,1202781组关系对。第二,构建了面向图书领域的知识驱动型对话系统。带有知识标注的图书对话数据是构建知识驱动型对话系统的基础。基于之前构建好的图书知识图谱,本文构建了 50轮图书领域的对话语料,并为语料中的每条语句标注对应的三元组知识。上面构建的对话语料共包含636句带有知识标注的图书领域对话数据。另外,本文构建了一种融合键-值记忆网络的检索式BERT模型,并在对话数据集上进行训练得到了最终的对话系统。本文还通过一系列评价指标对系统生成的回复进行了评估。实验结果证明:在图书对话系统中引入外部知识能够生成更高质量的回复。
面向个性化学习的课程主题知识图谱构建研究
这是一篇关于BERT模型,树结构神经主题模型,知识图谱,知识蒸馏的论文, 主要内容为用户在课程学习时,知识点的体系和脉络往往依赖人工经验总结,用户缺乏以问题导向进行知识学习的途径,无法根据学习者实际需求,对课程知识点进行细粒度的归纳和总结。知识图谱是大数据时代最有效的知识表示及整合方法之一,本研究主要针对面向个性化学习的课程主题知识图谱构建任务进行探索。具体工作如下:1.针对粗粒度课程知识点词汇语义表示的学习,提出了一种基于BERT的领域词向量生成方法。首先,建立一个BERT-CRF领域分词器,在预训练BERT字向量基础上结合领域文本进行fine-tuning和领域分词学习;然后通过领域分词解码结果进一步得到领域词向量表示。实验表明,该方法仅利用少量的领域文本就可以学习出符合领域任务需求的分词器模型,并能获得相比原始BERT更高质量的课程知识领域词向量。2.主题模型仅利用了词频等统计特征,忽略了外部先验知识对获取主题的帮助。针对课程主题分析任务,融合迁移学习思想,提出了一种基于BERT嵌入与知识蒸馏的树结构神经主题模型。首先,利用BERTCRF模型获取粗粒度领域词嵌入,缓解字粒度BERT嵌入与词袋表示不匹配问题;其次,针对词袋表示数据稀疏问题,利用知识蒸馏组合预训练BERT与主题模型的最佳性能,以提升主题质量;最后,优化树结构神经主题模型以拟合富含辅助信息的BERT词嵌入,并用有监督的蒸馏知识指导无监督主题模型的文档重构。实验表明,基于BERT嵌入与知识蒸馏的树结构神经主题模型具有预训练模型和主题模型的优良特性,能对课程主题进行更有效的归纳总结。3.为构建更充分表达用户获取意图的课程主题知识图谱,结合社会网络分析方法,对树结构神经主题模型的主题结果进一步筛选,并搭建交互式的个性化学习原型系统,增强用户个性化学习体验。
基于知识图谱的食品对话系统的设计与实现
这是一篇关于知识图谱,对话系统,BERT模型,实体识别,实体对齐的论文, 主要内容为随着我国全面建成小康社会的实现,人们对饮食的需求由温饱问题转变为健康问题,这一转变使人们更加重视饮食结构,对食品及健康方面知识的需求越来越强烈。互联网的相关信息存在信息分散、数据质量低等问题,海量参差不齐的数据增加了人们获取有用信息的难度。使用浏览器搜索数据是人们惯用的查询信息的手段,但基于关键词的查找较为局限,不符合人们自然语言的特点。食品知识本身专业性强,人们难以从搜索返回的庞杂冗余的结果中筛选整理出正确的适合自已的食品信息。因此,人们急需一个整合了食品相关知识并提供高质量的食品信息的信息获取平台。谷歌在2012年提出了知识图谱概念,知识图谱可以挖掘网页文本中的概念和它们之间的关系并进行语义表示,即抽取过滤互联网上的庞杂数据,整合多数据源的数据,最终表示为知识对象。知识图谱为整合过滤食品信息提供了新的思路。对话系统是近些年提出的优于搜索系统的获取信息的另一种手段,对话系统可以理解用户的语义信息,有针对性的快速给出高质量回复,且以对话的形式以自然语言的方式与人进行交流,更贴近人的语言习惯。本项目为了满足人们对于获取饮食、营养、健康等方面信息的需求,构建了食品领域知识图谱,并提供一个食品领域对话系统。本项目主要开展了如下的工作:一、本项目针对领域数据的特点,使用一种以需求为导向的,逐步完善的,自底向上与自顶向下相结合的,领域知识图谱“三步”构建法,构建了包含食物、菜肴、餐厅、地点、营养元素、人群、症状、功效、季节九大类本体的食品领域知识图谱。二、将引入BERT预训练模型的BiLSTM+CRF实体识别算法用于食品的实体识别任务,分析对比了该模型相对于其他模型的优势。实验结果表明BERT+BiLSTM+CRF在本项目构造的数据集上达到91.55%的F1值,证明该模型能够充分提取字符、词语、句子甚至句间关系的特征,在食品实体识别任务中取得了较好的效果。设计了一个基于别名词表与综合评分筛选算法,对应用该方法筛选出相近实体的候选食品对做支持向量机SVM模型的分类任务,将分类为同一实体的食品对链接为相同实体。三、应用本项目构造的食品知识图谱,设计并实现了一个食品领域对话系统,该系统具备对话食品相关知识及简单问候功能,系统功能正常、性能良好。本项目通过构建食品领域知识图谱整合了食品相关知识,并提供一个食品领域对话系统,方便人们高效、便利的获取高质量食品相关知识,具有一定的研究意义和应用前景。
基于知识图谱与字词结合模型的短文本分类
这是一篇关于短文本分类,文本扩展,知识图谱,多头注意力,BERT模型的论文, 主要内容为在大数据时代,随着电子商务交易和即时通讯平台的快速发展,网络上的短文本数据日益增长。所以,从这些数量巨大的短文本数据中提取出宝贵的知识是十分有必要的。短文本分类是自然语言处理领域的一个经典问题,它基于篇幅较短的文本数据学习其深层语义表征,同时用于分类任务。此类文本的长度通常较短,包含的有效信息较少且文本的口语化严重,具有极强的不规范性。所以,本文针对短文本特征稀少以及不规范的特点,从扩充短文本篇幅以及深层挖掘短文本特征两方面入手对短文本分类的问题进行研究,主要工作如下:(1)使用知识图谱对短文本进行扩展。针对短文本篇幅短小,蕴含语义特征稀疏的问题,本文提出使用知识图谱对短文本进行扩展。对短文本进行数据预处理后,使用Text Rank算法得到短文本的关键词词集。之后依次从知识图谱中查询关键词,并对查询结果进行实体消歧,得到当前关键词的扩展文本。最后将原文本与所有关键词的扩展文本拼接得到短文本基于知识图谱的扩展文本。同时,使用Word2Vec工具对扩展文本做词嵌入,并使用常见的文本分类模型Text CNN对其进行分类,验证本方法的性能。实验结果表明,使用知识图谱对短文本进行扩展后的分类准确率有所提升。(2)使用BERT模型改进一词多义问题。Word2Vec工具将词语表示为一个统一含义、统一维度的静态向量,无法对词语的不同含义动态地表达。针对此问题,本文使用BERT模型进行改进。在使用知识图谱对短文本进行扩展的基础上,使用BERT模型对扩展文本进行动态地词嵌入,并使用三类网络模型:BERT+CNN、BERT+RNN、BERT+RCNN分别提取扩展文本的深层特征。实验结果表明,使用BERT模型可以有效改善一词多义的问题,提升短文本分类的准确率。(3)提出基于字词结合和多头注意力机制的分类模型Char＿Word＿RMCNN。针对BERT模型以字为单位进行向量表示时的语义表达能力不足,本文提出基于字词结合和多头注意力机制的分类模型。使用Word2Vec工具和BERT模型两种词嵌入模型对短文本进行表示,结合两者的优势对短文本进行联合语义提取。之后,通过结合多头注意力机制的深度学习网络模型对两个词向量模型提取的语义特征进行聚合得到该文本的深层特征。实验结果表明,使用Char＿Word＿RMCNN模型对短文本进行分类的准确率有较高的提升。综上所述,本文使用知识图谱对短文本进行扩展,并使用BERT模型改进一词多义的问题,最后针对BERT模型以字为单位进行向量表示时的语义表达能力不足,提出了Char＿Word＿RMCNN模型提取短文本的深层特征。与直接对微博数据集和头条数据集使用Text CNN模型进行分类相比,使用知识图谱对两个数据集进行扩展,并使用Char＿Word＿RMCNN模型进行分类的准确率分别提高了0.2227和0.1422,F1得分的加权平均值分别提高了0.2213和0.1445。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://m.bishedaima.com/lunwen/45951.html
