科技论文关键词语义表示方法对比研究
这是一篇关于科技论文,关键词分析,语义表示,共词分析,共词网络,表示学习的论文, 主要内容为关键词语义表示方法决定了科技文献关键词分析结果的可靠性,尽管目前在自然语言处理领域有很多对于词汇语义表示方法的研究,但在科技文献关键词分析场景下,目前尚缺乏研究系统性地评估关键词语义表示方法的优劣,以致于在科技文献分析研究实验中,相关工作人员并不清楚采用何种关键词语义表示方法更为合适,在面临诸多新兴方法时,也无法有效甄别选择合适的方法。在具体实践中,该如何选择关键词语义表示方法呢?为了标准、量化地对文献关键词语义表示方法的好坏进行对比,本研究将科技领域文献中最能表征文献主题的关键词作为基本分析对象;并将文献关键词聚类作为本研究中的任务场景,经过文献调研选择“数字图书馆”领域知识图谱作为标准评估数据集(“黄金标准”);对该领域中的文献关键词语义表示方法选择共词矩阵、共词网络、词表示学习、网络表示学习和图神经网络五大类基础方法下的23种变种方法(包括词表示学习下的“预训练-微调”模式、“语义+结构”拼接模式);利用加权后的Jaccard系数评估K-means聚类和层次聚类结果对于“黄金标准”的拟合指标。基于上述实验方案,本研究为了在多个领域上开展实验来体现本研究结果的普遍性,选择依次开展两种场景上“数字图书馆”领域下的科技文献关键词语义表示方法对比实验。经过两种任务场景下“数字图书馆”领域的两个实验,本研究得出的结论是:(1)从整体上看,仅仅利用计算机技术对文献关键词进行学科研究热点、主题结构分析等研究,得到的结论的可靠性根本与领域专家的预期结果还存在明显差距;(2)在特定情况下,词表示学习上的“预训练-微调”模式和“语义+结构”的拼接模式可取得更好的效果。具体而言:(1)在面向领域知识组织体系构建任务上,假如要想追求理想的聚类效果,宜优选K-means聚类方法而非层次聚类方法;并且从本文选择的五大类关键词语义表示方法及变种上看,共词矩阵、网络表示学习和图神经网络在文献关键词语义表示上的效果较差,而传统的共词网络和词表示学习效果相对较好。(2)在面向领域高频词分析的任务上,除“预训练-微调”的词表示学习方法与特定的“语义+结构”拼接模式可取得较好的效果外,使用其他方法得到的效果之间没有明显差距。最后,基于本研究中所得的量化评估结论,本文后续针对文献关键词分析任务给不同技术水平情报工作人员提出了几点建议。
词向量语义模型研究及在主题爬虫系统中的应用
这是一篇关于垂直领域爬虫,语义表示,词向量,PMI的论文, 主要内容为爬虫,即使用程序自动获取网页上的内容,在现在已经很流行,是搜索引擎的重要组成部分,也是进行有监督机器学习模型训练的语料获取重要方法之一。然而,在某些特定领域的研究,普通爬虫不再能够满足特定语料获取的需求,因此带有特定主题的垂直领域爬虫已经日益被需要。主题爬虫需要在获取一个新的网页或网页链接时,通过判断在语义上是否与主题相关,来判断是否爬取该页面。本文使用词向量进行语义表示,并联合点对互信息方法,对新的网页链接进行判断,决策继续爬取该页面,还是放弃爬取该页面。具体内容如下。介绍自然语言处理技术、深度学习技术、语言模型。并详细介绍基于矩阵和基于向量的两种词向量表示方法。然后基于维基百科中文语料,使用不同的参数训练模型,得出实验结论,并选出某一组参数,进行下面章节的研究。为了解决一词多义的问题,本文引入点对互信息(PMI,Pointwise Mutual Information)。根据上下文信息,判断该词在此处的意思。并通过上一部分的结论,选出一个效果最好的词向量模型,联合PMI进行实验。PMI的词对表容量巨大,普通的电脑内存无法装载,针对该问题,本文将给出一种解决方法。把以上两部分运用于垂直领域爬虫系统。使用宽度优先搜索的方法进行抓取,当爬虫系统遇到一个新的链接时,使用上一部分得出的模型,判断该连接词与主题词的相关程度。使用“程序员”、“家具”、“护肤”三个主题,在百度百科上分别爬取若干页面,并保留中间扔掉的链接,人工判断每个网页是否与主题相关,从而得出准确率,召回率等,并与不使用相关词技术的普通爬虫对比,从而更加客观的判断本文的垂直领域爬虫的效果。本文提出了使用语义模型表示和点对互信息,联合进行网页链接是否与主题词相关的判定,从而筛选出与主题词相关的网页链接,并得出客观的实验效果。
面向Web语义表格的异常数据处理技术研究与实现
这是一篇关于Web语义表格,错误发现,异常修复,语义表示,知识图谱的论文, 主要内容为随着万维网的快速发展,HTML表格等结构化、半结构化数据快速增加,方便了人们的知识获取,也成为大量机器学习和训练任务的重要数据来源。在海量Web数据中,由包含语义信息内容组成的表格称为Web语义表格。在维基百科、百度百科等网站中,Web语义表格面向用户开放,人人可参与编辑,导致其包含了大量异常数据甚至是恶意篡改信息。因此,有效的识别和修复Web语义表格中的异常成为该领域发展需要解决的重要问题之一,也具有重要的现实意义。Web语义表格异常处理主要分为错误发现和异常修复,前者可以看做面向Web语义表格的事实核查,后者需要利用外部知识对错误单元格内容进行推测和修复。现有的工作在这方面有了很多研究,但仍然存在不足:传统的表格异常处理技术局限于有严格模式定义的表格,难以应对语义信息模糊甚至错误的Web语义表格;事实核查算法集中于将表格作为可信源对文本句子等进行检查,缺少针对Web语义表格异常处理的研究;在引入外部知识库时,现有的方法局限于知识图谱实体关系与表格列间关系匹配,但以Web语义表格中单元格间复杂的实体关系难以直接匹配。针对这些问题,本论文提出了面向Web语义表格的错误发现和异常修复机制,具体包括三个部分:(1)针对传统算法难以应对Web语义表格语义信息模糊甚至错误的问题,本文提出了基于映射关系的表格错误发现方案,该方案提出了语义表示、列类型推断和错误发现等子模块,分别用于表征文本的含义、推断列模式信息,实现了错误发现的功能。(2)针对现有研究难以应对Web语义表格中表格格式实体关系复杂的问题,本文提出了基于知识图谱的表格异常修复方案,该方案通过引入外部知识图谱作为可信源,利用表格行列实体之间的关系,设计了知识图谱实体多跳查询和面向表格格式的知识图谱融合异常修复模型,将表格中发现的错误单元格数据进行修复,推断得到正确的结果。(3)基于上述理论成果,设计并开发了面向Web语义表格的异常处理系统,该系统采用前后端分离的方式,将上述错误发现与修复部分进行整合,并实现了面向用户的可视化界面,提供实体关系的展示,方便用户操作和使用。综上,本文针对Web语义表格中广泛存在错误和异常的问题,设计了面向Web语义表格的错误发现和异常修复算法,实现了一个面向Web语义表格的异常处理原型系统。本文通过相关的实验证明,本论文提出的方案可以有效应对上文所提出的问题。本论文提出的算法机制和模型系统为进一步处理Web语义表格做出了贡献,可进一步应用于表格数据处理相关领域。
面向Web语义表格的异常数据处理技术研究与实现
这是一篇关于Web语义表格,错误发现,异常修复,语义表示,知识图谱的论文, 主要内容为随着万维网的快速发展,HTML表格等结构化、半结构化数据快速增加,方便了人们的知识获取,也成为大量机器学习和训练任务的重要数据来源。在海量Web数据中,由包含语义信息内容组成的表格称为Web语义表格。在维基百科、百度百科等网站中,Web语义表格面向用户开放,人人可参与编辑,导致其包含了大量异常数据甚至是恶意篡改信息。因此,有效的识别和修复Web语义表格中的异常成为该领域发展需要解决的重要问题之一,也具有重要的现实意义。Web语义表格异常处理主要分为错误发现和异常修复,前者可以看做面向Web语义表格的事实核查,后者需要利用外部知识对错误单元格内容进行推测和修复。现有的工作在这方面有了很多研究,但仍然存在不足:传统的表格异常处理技术局限于有严格模式定义的表格,难以应对语义信息模糊甚至错误的Web语义表格;事实核查算法集中于将表格作为可信源对文本句子等进行检查,缺少针对Web语义表格异常处理的研究;在引入外部知识库时,现有的方法局限于知识图谱实体关系与表格列间关系匹配,但以Web语义表格中单元格间复杂的实体关系难以直接匹配。针对这些问题,本论文提出了面向Web语义表格的错误发现和异常修复机制,具体包括三个部分:(1)针对传统算法难以应对Web语义表格语义信息模糊甚至错误的问题,本文提出了基于映射关系的表格错误发现方案,该方案提出了语义表示、列类型推断和错误发现等子模块,分别用于表征文本的含义、推断列模式信息,实现了错误发现的功能。(2)针对现有研究难以应对Web语义表格中表格格式实体关系复杂的问题,本文提出了基于知识图谱的表格异常修复方案,该方案通过引入外部知识图谱作为可信源,利用表格行列实体之间的关系,设计了知识图谱实体多跳查询和面向表格格式的知识图谱融合异常修复模型,将表格中发现的错误单元格数据进行修复,推断得到正确的结果。(3)基于上述理论成果,设计并开发了面向Web语义表格的异常处理系统,该系统采用前后端分离的方式,将上述错误发现与修复部分进行整合,并实现了面向用户的可视化界面,提供实体关系的展示,方便用户操作和使用。综上,本文针对Web语义表格中广泛存在错误和异常的问题,设计了面向Web语义表格的错误发现和异常修复算法,实现了一个面向Web语义表格的异常处理原型系统。本文通过相关的实验证明,本论文提出的方案可以有效应对上文所提出的问题。本论文提出的算法机制和模型系统为进一步处理Web语义表格做出了贡献,可进一步应用于表格数据处理相关领域。
科技论文关键词语义表示方法对比研究
这是一篇关于科技论文,关键词分析,语义表示,共词分析,共词网络,表示学习的论文, 主要内容为关键词语义表示方法决定了科技文献关键词分析结果的可靠性,尽管目前在自然语言处理领域有很多对于词汇语义表示方法的研究,但在科技文献关键词分析场景下,目前尚缺乏研究系统性地评估关键词语义表示方法的优劣,以致于在科技文献分析研究实验中,相关工作人员并不清楚采用何种关键词语义表示方法更为合适,在面临诸多新兴方法时,也无法有效甄别选择合适的方法。在具体实践中,该如何选择关键词语义表示方法呢?为了标准、量化地对文献关键词语义表示方法的好坏进行对比,本研究将科技领域文献中最能表征文献主题的关键词作为基本分析对象;并将文献关键词聚类作为本研究中的任务场景,经过文献调研选择“数字图书馆”领域知识图谱作为标准评估数据集(“黄金标准”);对该领域中的文献关键词语义表示方法选择共词矩阵、共词网络、词表示学习、网络表示学习和图神经网络五大类基础方法下的23种变种方法(包括词表示学习下的“预训练-微调”模式、“语义+结构”拼接模式);利用加权后的Jaccard系数评估K-means聚类和层次聚类结果对于“黄金标准”的拟合指标。基于上述实验方案,本研究为了在多个领域上开展实验来体现本研究结果的普遍性,选择依次开展两种场景上“数字图书馆”领域下的科技文献关键词语义表示方法对比实验。经过两种任务场景下“数字图书馆”领域的两个实验,本研究得出的结论是:(1)从整体上看,仅仅利用计算机技术对文献关键词进行学科研究热点、主题结构分析等研究,得到的结论的可靠性根本与领域专家的预期结果还存在明显差距;(2)在特定情况下,词表示学习上的“预训练-微调”模式和“语义+结构”的拼接模式可取得更好的效果。具体而言:(1)在面向领域知识组织体系构建任务上,假如要想追求理想的聚类效果,宜优选K-means聚类方法而非层次聚类方法;并且从本文选择的五大类关键词语义表示方法及变种上看,共词矩阵、网络表示学习和图神经网络在文献关键词语义表示上的效果较差,而传统的共词网络和词表示学习效果相对较好。(2)在面向领域高频词分析的任务上,除“预训练-微调”的词表示学习方法与特定的“语义+结构”拼接模式可取得较好的效果外,使用其他方法得到的效果之间没有明显差距。最后,基于本研究中所得的量化评估结论,本文后续针对文献关键词分析任务给不同技术水平情报工作人员提出了几点建议。
基于语义的科技专家推荐系统研究
这是一篇关于神经网络语言模型,文档向量,语义表示,评分模型,专家推荐系统的论文, 主要内容为我国高校院所等科研机构拥有大量的科研人才,但是由于信息“不对称”、缺乏需求-人才精准匹配服务,企业缺少有效途径快速精准匹配特定技术需求的专家。随着大数据与人工智能技术的兴起,科技成果等数据资源的开发和利用将有效解决上述的这些问题,对有效促进科技成果转化具有重要意义。本文主要研究科技成果文档向量和科技专家的语义化表示,以及面向特定技术需求的专家精准推荐方法及系统。本文主要研究工作包括:1)研究提出一种基于PV-DM改进的文档向量表示模型,解决半结构化文档中不同位置语义特征信息提取的问题。通过大量的学术论文、发明专利、科研项目三类科技文档对模型进行训练,得到这些科技文档的语义化向量表示并形成向量库。2)研究提出一种面向技术需求的专家评分模型。基于相关科技文档对专家进行特征建模;以技术需求语义向量为中心,计算科技文档向量到中心的径向基函数值作为该文档的相关性权重;综合考虑文档质量、发表时间、文档-技术需求的相关度、专家贡献度等多种特征,依据该文档计算专家与技术需求匹配的得分;对专家的所有相关文档与技术需求匹配得分加权求和计算最终评分。3)基于上述模型,研究提出一种面向特定技术需求的专家在线推荐方法。该方法采用推荐系统中典型的二阶段推荐方式,首先针对特定技术需求,利用语义相似度和K近邻搜索得到相关科技文档,根据这些文档对应的专家划定推荐候选范围;然后基于上述专家评分模型,计算得到每个候选专家的得分,按照得分对候选专家进行排名实现Top N专家推荐。上述研究成果进行了实验验证,并开发实现了基于语义的科技专家推荐系统,根据企业提交的需求文本实时推荐合适的专家,从而实现高效精准的在线匹配,有效提高科技成果转化效率。
基于语义的科技专家推荐系统研究
这是一篇关于神经网络语言模型,文档向量,语义表示,评分模型,专家推荐系统的论文, 主要内容为我国高校院所等科研机构拥有大量的科研人才,但是由于信息“不对称”、缺乏需求-人才精准匹配服务,企业缺少有效途径快速精准匹配特定技术需求的专家。随着大数据与人工智能技术的兴起,科技成果等数据资源的开发和利用将有效解决上述的这些问题,对有效促进科技成果转化具有重要意义。本文主要研究科技成果文档向量和科技专家的语义化表示,以及面向特定技术需求的专家精准推荐方法及系统。本文主要研究工作包括:1)研究提出一种基于PV-DM改进的文档向量表示模型,解决半结构化文档中不同位置语义特征信息提取的问题。通过大量的学术论文、发明专利、科研项目三类科技文档对模型进行训练,得到这些科技文档的语义化向量表示并形成向量库。2)研究提出一种面向技术需求的专家评分模型。基于相关科技文档对专家进行特征建模;以技术需求语义向量为中心,计算科技文档向量到中心的径向基函数值作为该文档的相关性权重;综合考虑文档质量、发表时间、文档-技术需求的相关度、专家贡献度等多种特征,依据该文档计算专家与技术需求匹配的得分;对专家的所有相关文档与技术需求匹配得分加权求和计算最终评分。3)基于上述模型,研究提出一种面向特定技术需求的专家在线推荐方法。该方法采用推荐系统中典型的二阶段推荐方式,首先针对特定技术需求,利用语义相似度和K近邻搜索得到相关科技文档,根据这些文档对应的专家划定推荐候选范围;然后基于上述专家评分模型,计算得到每个候选专家的得分,按照得分对候选专家进行排名实现Top N专家推荐。上述研究成果进行了实验验证,并开发实现了基于语义的科技专家推荐系统,根据企业提交的需求文本实时推荐合适的专家,从而实现高效精准的在线匹配,有效提高科技成果转化效率。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码海岸 ，原文地址：https://m.bishedaima.com/lunwen/56092.html
