基于BERT和Citation-LDA的中文社科论文分析系统的设计与实现
这是一篇关于中文社科论文,LDA,主题分类,学术流变的论文, 主要内容为当今论文库在快速地更新,其中也产生了更多的研究领域,所以了解研究主题随着时间的推移如何演变变得十分重要。因此需要开发一套专门的系统来挖掘某一研究领域的学术流变和知识流动网络,去发现新兴的主要研究趋势和具有重要影响力的里程碑式论文。目前国内有关社科论文的分析工作,大多停留在对独立的数据集采取定量与定性评价相结合的方法进行统计分析,而缺少对数据集之间进行关联分析,难以得到有效且直观的分析结果。不同于基本单位为词的英文单词,中文词汇的处理也将是系统中一个重要的待解决问题。本系统详细分析了社科论文的问题,并介绍了社科论文的数据特点,包括领域众多和领域内专业词汇较多等,所以通过简单的数据统计并不能发现主题演化等信息。本系统提出了针对社科论文特点的文本预处理方法,包括数据格式转换、分词、去除停用词以及建立各领域的专用词典。由于BERT与CitationLDA能较好地生成句向量并进行主题聚类,不同于普通的基于内容的LDA模型,利用引文信息的Citation-LDA模型能够极大的减少计算复杂度,并且由于利用了共引信息,所以模型更能发现主题下能够代表主题的里程碑式论文。因此本文的数据分析模块主要以文本表示模型以及主题模型为基础,通过对社科论文的题录信息和正文信息进行分析,挖掘核心论文以及学术流变相关信息。为此,系统采用了Word2Vec、BERT等模型生成向量帮助主题聚类,采用LDA与citation-LDA模型来分析主题依赖和主题的演化模式,并将此模块集成到整个系统中。系统还将完成文献检索、模型管理等功能,并开发设计开发分词训练模块,提供给专业人员使用,来帮助建立各领域的专用词典。本系统前端使用Vue.js与bootstrap框架来实现数据分析的可视化;后端使用Spring Boot框架来实现数据管理、模型管理的服务,使用Python语言编写数据分析模型与脚本;数据方面采用Elastic Search分布式引擎,用于数据存储搜索,数据集采用了南京大学数据中心提供的引文信息数据库以及经济学等社科领域的全文PDF文件。本人在系统中承担了后端代码编写、模型搭建、数据训练等工作。
基于评论的用户偏好相似度对电商推荐算法的改进研究
这是一篇关于协同过滤算法,LDA,主题模型,情感分析,启发式的相似度的论文, 主要内容为随着网络和电子商务的发展和网购的兴起,电商平台积累了海量评论文本,用户越来越倾向于阅读产品评论文本的意见后进行产品购买决策。海量的评论文本而推荐系统做为电子商务平台的核心,随着产品的积累,电商平台关于同一品类的相似的产品数目众多,但是实则各产品的特征口碑和不同,应当基于用户对于产品特征偏好和产品的口碑为用户进行个性化推荐。在此背景下,本文基于电商评论文本作为辅助信息,提出一种改进的基于用户偏好相似度的协同过滤算法。本文方法首先将评论文本作为辅助信息,通过对评论文本进行基于LDA主题模型的产品特征提取和基于情感词典的情感分析,从中提取情感得分。接着基于情感得分,采用启发式的相似度计算方法分别根据电商评分情况提出用户正负因素(Differance)、市场流行影响因素(Popularity)、用户主题差异因素(Topic Order)计算用户偏好相似度,进而和总体评分相似度构建联合相似度。结合评论文本信息改善协同过滤算法的相似度计算,能够改善传统协同过滤算法仅通过用户-产品评分矩阵计算相似度,导致用户具体的偏好缺乏识别的缺点,能够发现在产品特征层面偏好更为相似的用户近邻。本文数据选择大型英文电商评论数据集Amazon和京东购物手机评论,选择基于用户的协同过滤算法(Acos-User-CF)、基于PIP的协同过滤算法(PIP-based CF)和基于NHSM的协同过滤算法(NHSM-based CF)基准模型和本文方法进行比较。实验结果得出,相比起基于传统相似度的K近邻协同过滤算法,本文提出的基于评论文本信息改进的用户偏好相似度方法提高了推荐精确率,并适用于中英文数据。
主题模型在论文推荐系统中的应用研究
这是一篇关于主题模型,论文推荐,改进用户模型算法,用户主题兴趣模型,LDA的论文, 主要内容为随着科技的快速发展，科技论文的规模在快速增长，为科研工作者带来了丰富的文献资料。据统计，高校论文数量以每年6%-8%的速度在增长，规模已达千万级，用户搜索感兴趣论文的时间也与日俱增。 在此背景下，论文推荐系统应运而生，传统的论文推荐系统基于论文元数据或向量空间模型进行，存在无法解决语义和效率低下的问题，推荐效果不理想。为了解决该问题，本文将主题模型应用于论文推荐系统中，并给出改进的用户兴趣模型算法。本文的主要工作如下： 1.对主题模型和论文推荐系统的相关理论和研究现状进行了分析，研究分析了主题模型应用在论文推荐系统中的可行性。 2.给出了一种新的用户兴趣模型算法TV-IPF，该算法增加了在用户兴趣论文列表中出现次数少、权值大的主题在用户兴趣模型中的权值，同时不会降低出现在较多兴趣论文中的主题的权值。与传统的均值方法相比，基于改进算法得出的用户兴趣模型和相应的推荐结果更符合用户的真实需求。 3.设计并实现了基于主题模型的推荐系统，检验了主题模型解决语义问题的能力，研究了在新的用户模型算法下稀疏度、推荐数量对推荐性能的影响。此外，分析了主题模型和协同过滤算法的优缺点，给出了两者的混合推荐系统，依据稀疏度来决定两者在推荐结果中的比例。该混合推荐系统在评分矩阵稀疏时也能够给出准确推荐，同时能够适当的提高推荐系统的多样性。 实验表明，本文给出的论文推荐方法提高了推荐系统的召回率和多样性。
人脸识别课堂考勤系统的研究与实现
这是一篇关于考勤系统,SSH框架,PCA,LBP,LDA的论文, 主要内容为人脸识别是生物识别和人工智能的一个重要应用方向,相对于其他生物识别如指纹识别,语音识别和虹膜识别,具有易采集、友好性和非侵犯、效果好等诸多优点,从而得到快速发展与应用。另一方面,随着BS架构的广泛使用,Web项目因为容易发布和部署,信息化程度高等诸多优点,被企业界广泛使用。因此,针对高校手动考勤方式存在的效率低、科技含量低、信息化程度不高的问题,本论文设计了人脸识别课堂考勤系统。本论文的主要研究内容和成果如下:1.研究了国内外的人脸检测和识别算法,以及考勤系统的研究现状,在进行了较为详细的功能设计、可行性分析和需求分析的基础上。设计并实现了由图像预处理、人脸检测、人脸识别签到、考勤数据库、考勤信息管理等模块组成的人脸识别课堂考勤系统。系统具有良好的安全性、用户体验和稳定性。2.研究了PCA算法及其改进的2DPCA和双向2DPCA算法,并比较这三种算法的正确识别率;研究了基于LBP、LDA的人脸识别算法,并比较PCA、LBP、LDA算法的正确识别率;研究了SVM分类算法,并比较SVM与一般分类器的正确识别率。经比较,最后确定LBP+PCA组合算法提取人脸的特征,并使用SVM分类算法,用于本系统的人脸识别模块,从而提高人脸识别算法的正确识别率。3.基于JavaEE平台,研究了JSP技术、Struts2、Spring、Hibernate框架、MySQL数据库技术。使用SSH框架整合技术开发考勤系统。将系统分为人脸识别模块和考勤系统管理模块,分别独立开发并整合。4.提出建立人脸库的方法。由学生使用本地文件或者拍照的方式上传照片,服务器按照学生信息保存图片,管理员建立人脸库图片、保存人脸库的特征数据。保存和加载特征数据的方式可以提高人脸识别的效率。5.在检测并分割的人脸图像上使用双眼定位和旋转矫正的处理,得到正面的人脸图像,提高了识别率。
融合多元评论信息的用户情感分类方法研究
这是一篇关于情感分类,图文评论信息,图片分类,限定主题,BERT,CNN,LDA的论文, 主要内容为随着电商经济迅猛发展,各类电商平台为提升服务品质非常重视对用户评论信息的收集、分析和利用,并从中挖掘出具有巨大潜在价值的用户情感信息来促进平台服务质量的提升,以及引导用户的消费。近年来,该方面的研究成果层出不穷,但经汇总分析后在以下两方面仍然存在问题:一是用户评论中存在无效评论,如虚假评论、默认好评和无情感评论等信息。虚假评论、默认好评使用户情感分类算法难以获得用户的真实情感,影响分类结果的准确性;而使用无情感评论信息进行用户情感分类时,不仅无法从中提取用户情感特征,而且还降低情感分类算法的效率;二是现有算法未充分利用评论中上传的图片信息,以及追加评论信息,这导致用户情感分类效果不佳。为了更好地获得用户的真实情感,本文对无效评论识别和用户情感分类进行研究,提出一种融合多元评论信息的用户情感分类方法。该方法主要包括以下两个方面工作:(1)结合无效评论识别和主题识别的数据预处理方法,针对虚假评论、无情感评论信息等无效评论影响用户情感分类准确性和效率的问题进行改进。首先,本文使用识别无效评论的卷积神经网络算法对用户上传图片的特征加以识别并过滤虚假评论;再通过限定主题的LDA算法获取评论文本主题,保留对”商品-物流-服务”的评价,剔除无情感的评论信息,以完成对图文评论数据的预处理工作。(2)融合多元评论信息的多通道BERT算法,针对现有用户情感分类算法未充分利用多元评论信息而导致的用户情感分类结果不准确的问题进行改进。本文在进行用户情感分类时,将用户上传的评论文本和图片分不同通道输入到用户情感分类模型中,融合评论中的多元情感特征实现用户情感的多分类。最后,本文通过对比实验对所提方法的性能进行验证,实验结果表明使用经识别无效评论的卷积神经网络算法和限定主题的LDA算法处理过的图文评论数据集能提高用户情感分类的准确性和效率;融合多元评论信息的多通道BERT算法在进行用户情感分类时从多个维度提取用户的情感特征,使情感分类的结果更加准确可信。同时,本文所提方法可以指导电商平台调整主推商品策略吸引更多的用户,为商家增加经济效益和用户黏度,因此具有良好的应用前景。
基于用户兴趣主题模型的交友推荐系统的设计与实现
这是一篇关于主题模型,用户兴趣,LDA,个性化推荐,图像理解的论文, 主要内容为随着互联网的发展,浏览社交媒体上即时发布分享的图片成为人们认识有共同兴趣新朋友的一种重要途径。面对用户分享的海量的图片信息,越来越多的用户希望找到其感兴趣的图片并期望关注图片的共享者,如何快速准确的从中获得有价值的感兴趣的用户兴趣信息成为急需解决的问题。近年来,个性化图片推荐相关研究获得了越来越多的关注,成为一个热门的研究领域。本文主要研究推荐系统在互联网交友过程中的应用,通过对国内外推荐算法的研究分析,结合现有的基于内容的推荐方法基础上,应用主题模型对用户的图像内容表示、用户图像兴趣模型以及感兴趣用户推荐生成等方面进行了研究和分析,提出了基于用户兴趣的主题模型。本文具体研究工作包括以下几个方面:(1)对个性化推荐相关技术及其研究现状进行分析,并由此引出现有推荐算法中图像内容表达及挖掘用户兴趣中存在着的问题,如采用协同过滤推荐的系统往往存在着冷启动和稀疏问题,采用基于内容推荐的系统很难处理像非结构化的对象等。(2)提出了一种基于用户图像内容和视觉主题特征的个性化交友推荐方案。该方案通过提取底层视觉特征,用BoF词包模型来描述图像的中层语义特征,用LDA主题模型来完成高层语义特征的描述;基于用户对图像的主题偏好、用户行为的情景信息,建立层次化的用户兴趣主题模型;该个性化朋友推荐方法能够很好的表达每位用户的整体感兴趣图像特征,用户兴趣模型更符合用户的行为规律,推荐的相似兴趣的用户也更加准确。(3)设计并实现了基于上述方案的个性化交友推荐系统,验证了推荐系统的功能,并通过在图像数据集上的离线实验验证了推荐系统的性能,证明方案对交友推荐是可行并且有效的。
基于社会媒体的旅游推荐系统研究与实现
这是一篇关于旅游推荐,社会媒体,Word2vec,LDA的论文, 主要内容为随着信息技术的不断发展,旅游业也在不断地进行创新突破,“旅游+信息化”成为一个备受关注的热点,人们可以通过互联网获取到海量的旅游信息,通过这些信息来帮助用户进行计划的制定以及决策。社会媒体既是一个用户可以自由分享自己的意见和观点的平台,却也会出现信息过载的问题。为了使用户可以在海量信息中快速准确地找到自己想要的内容,个性化推荐系统是一种非常有效的解决方案。目前旅游景点推荐系统仍存在数据稀疏问题,为了更好地进行旅游景点的推荐,本文针对现有推荐算法进行优化与改进,提出一种基于Word2vec和LDA模型的旅游景点推荐模型,并通过设计实现的旅游景点推荐原型系统,将本文提出的推荐模型应用于该原型系统中。本文的主要内容如下:(1)介绍了当前个性化旅游推荐算法的国内外研究现状以及存在的问题,由此引入了基于社会媒体的旅游景点推荐算法,然后详细介绍了基于协同过滤的推荐算法、基于内容的推荐算法以及混合推荐算法的原理以及优缺点,对本文用到的LDA主题模型与Word2vec词向量模型进行了研究与分析。(2)由于LDA是以全局的形式来预测文档中的词汇、Word2vec以局部的形式来预测文档中的词汇的特殊性,本文提出一种基于Word2vec和LDA模型的旅游景点推荐模型。该推荐模型的核心思想是通过LDA主题模型将景点评论文本转换为景点-主题-词矩阵,再通过结合Word2vec词向量模型转换为景点-主题-词向量矩阵,通过上述矩阵生成用户/景点向量模型,基于用户/景点向量模型预测用户对未知景点的评分来产生推荐结果。另外,还对基于Word2vec和LDA的推荐模型进行了拓展研究。通过在爬取的去哪儿网的旅游景点评论数据集上与其他的推荐算法做实验对比,实验结果表明,本文提出的推荐模型在评分预测准确率上有所提升。(3)对旅游景点推荐原型系统进行需求分析,采用B/S架构,将本文提出的基于Word2vec和LDA的推荐模型应用到系统中,设计并实现了一个由用户管理模块、评论管理模块、景点推荐模块等组成的个性化旅游景点推荐系统,最后对系统主要功能模块进行了测试以及界面展示。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码码头网 ，原文地址：https://m.bishedaima.com/lunwen/47269.html
