基于邻居筛选的大规模知识表示学习方法
这是一篇关于知识图谱补全,知识表示学习,邻居筛选,互信息的论文, 主要内容为知识表示学习是用于知识图谱补全的重要技术。翻译模型作为知识表示学习的代表模型,因其参数少且容易解释,被广泛应用于大规模知识表示学习中。近几年,为了克服翻译模型孤立地考虑各个三元组的缺点,实体的邻居信息被引入到翻译模型中。然而现有模型缺乏合理的邻居选择策略,导致开销过大且容易引入噪声,或者容易遗漏重要邻居。同时,现有模型忽视了邻居作为实体也具有多种属性,只能为每个邻居确定一个固定的权重,无法为邻居中的众多属性确定不同的权重。这些问题导致现有模型难以高效利用邻居信息提高建模实体向量和关系向量的质量。为解决上述问题,提出了一种基于邻居筛选的翻译模型TransMIA。针对引入全部邻居带来的开销过大及随机选择邻居会遗漏重要邻居的问题,TransMIA通过设计一种基于互信息的邻居选择策略,来计算邻居与实体所在三元组中关系之间的互信息,并根据该计算结果确定邻居与实体所在三元组的关联程度,为实体选择与其所在三元组最相关的N个邻居。同时,TransMIA为实体设置多个邻居集合。当实体与不同的关系连接时,能够为实体选择不同的邻居,分别加入到对应的邻居集合中,充分建模实体语义。针对现有模型只能为每个邻居确定一个固定权重的问题,TransMIA设计了一种关注邻居属性的注意力机制。该机制首先为邻居确定一个固定的权重,然后根据邻居与实体相连关系,在模型训练过程中调整邻居向量中各个维度的权重,最终为邻居向量的每个维度确定不同的权重,从而突出邻居中对建模实体和三元组语义最重要的属性,有利于充分利用邻居信息。实验表明,TransMIA模型提高了建模实体和关系向量的质量。在链接预测任务上,TransMIA模型在不同数据集上的MRR指标提升了2.3%～45.7%,Hits@10指标提升了1.2%～36.1%。在三元组分类任务上,TransMIA模型在不同数据集上的分类准确率提升了0.9%～13.9%。通过对邻居进行筛选,TransMIA模型能够更好地利用邻居信息,进而优化知识表示学习得到的向量,实现在下游应用中取得更好性能的目标。
联合规则模板的评价对象抽取方法和推荐系统方法研究
这是一篇关于评价对象,抽取,规则模板,条件随机场,推荐系统,互信息的论文, 主要内容为本文主要研究课题是评价对象抽取,也就是识别出一条文本中评价的目标,评价对象抽取是细粒度的元素抽取,与传统的文档级别情感分类不同,细粒度旨在对主观性文本数据进行更深入的意见抽取和分类工作,这些工作可以广泛的应用于产品评论挖掘、商业智能、社会舆情分析、推荐系统等方面。评价对象抽取的方法大致有两大类:基于规则模板的方法和基于统计机器学习的方法。本文结合这两种方法,显著提升评价对象抽取效果。为了使评价对象抽取有更好的效果,首先在预处理方面构建自定义分词词典,解决分词不准确的问题。设计制定五种句法模式,根据制定的规则,抽取出语料中的潜在评价对象,再通过句法分析中的依存关系过滤出实际评价对象。在选择词、词性特征、情感词特征、与情感词是否有依存关系特征的基础上,加上与动词是否有依存关系特征和规则模板抽取得到的实际评价对象特征,利用CRFs模型来训练和识别。充分利用机器学习模型具有很高的精确率以及规则模板具有高的召回率的优点,从而提高评价对象抽取效果。评价对象抽取主要研究内容包括以下四个方面:(1)本文语料集在预处理阶段,就构建了自定义用户分词词典、情感词典以及动词词典,为实验做准备。(2)首先根据规则模板方法抽取出评价对象,作为CRFs模型的一个特征,结合了规则模板和机器学习方法,使评价对象抽取效果显著提升。(3)为了找到CRFs模型下最好的特征模板窗口大小,本文在2-7个窗口大小下,在不同领域的实验数据集上选择不同的特征组合,查看实验对比效果,选取出最好的特征模板。(4)在CRFs模型下,在手机领域数据集下,对比不同的特征,观察每个特征对评价对象抽取的影响。(5)本文方法与主流的规则方法以及机器学习方法进行比较,进一步说明本文方法在评价对象抽取方面有很好的效果。本文还介绍了一个推荐系统方法研究,这里是对评价对象抽取的一个具体应用。基于互信息算法,从三个方面进行分析数据,包括用户对商品的历史行为、商品标题以及商品标签信息,综合考虑三个方面,从命中率和覆盖率来判断推荐系统的好坏。实验证明,基于互信息的推荐系统取得很好的效果。本节中用户对商品的历史行为的推荐,包括用户对商品的评论信息,这里是对评价对象抽取的一个具体应用,通过评论信息抽取出评价对象以及评价词语,洞悉用户对此产品的需求,然后做出相应的推荐。
基于注意力特征融合的多层级自监督图像表征学习
这是一篇关于图像表征学习,自监督学习,特征融合,注意力机制,互信息,注意力权重矩阵的论文, 主要内容为在计算机视觉领域,通用的高质量图像表征对提高深度神经网络模型性能和解决诸如图像分类、目标检测等下游任务都具有十分重要的意义。而且,由于目前需要大量精确图像标注信息的有监督学习存在局限性,使得自监督图像表征学习方法成为备受关注的研究主题。然而,大多自监督图像表征学习方法主要关注高层级特征,忽略了具有更多细节信息和更好迁移性的低层级特征对学习图像表征的影响。此外,在无监督条件下,一般注意力机制尽管能够使模型训练关注到特征中的局部区域,但也影响了模型对全局特征的学习,降低了图像表征的泛化能力。因此,为有效利用网络模型中不同层级特征的抽象属性,提高图像表征质量和泛化能力,本文对基于注意力特征融合的多层级自监督图像表征学习方法进行研究,主要内容包括:(1)为提高图像表征质量和泛化能力,针对模型中不同层级特征,提出一种基于三路注意力融合与局部相似性优化的多层级自监督图像表征学习方法。首先,使用三路注意力特征融合模块提取模型不同层级特征的通道注意力权重,并对加权特征进行融合,以提高特征的信息量和迁移能力。此外,考虑到冗余和无关信息对特征质量的影响,设计一种基于互信息的局部相似性优化策略,以优化融合后特征,改善图像表征质量。最后,在CIFAR10、CIFAR100、STL10和Tiny Image Net四个公共数据集上的实验结果验证了所提方法在自监督图像表征学习中的有效性。(2)为进一步提高图像表征的通用性,针对(1)中特征融合模块存在注意力权重过高而影响自监督模型学习全局特征的问题,提出一种用于自监督图像表征学习的受限注意力特征融合网络模型。首先,采用一种新的具有通道和空间双注意力机制的特征融合策略,对多层级特征进行有效融合。其次,设计了一种简单但有效的注意力权重矩阵,限制较高的空间注意力权重,防止模型训练仅关注具有高注意力权重的局部特征。最后,在四个公共分类数据集CIFAR10、CIFAR100、Tiny Image Net和Image Net-1%、两个目标检测数据集PASCAL VOC和COCO上的实验结果表明,所提方法具有更好的表征性能和泛化能力。(3)在(1)和(2)研究的基础上,对所提模型算法进行汇总、封装,并基于Py Qt5和Py Torch框架,设计并实现一个具有多层级自监督图像表征模型训练、精调与可视化等功能的图像表征学习系统。
合理用药干预系统的研究与实现
这是一篇关于合理用药,粗糙集,案例推理,互信息,K-邻近算法的论文, 主要内容为随着医疗行业的快速发展以及人类疾病呈现的多样性和复杂性,联合用药已经成为临床治疗的重要方式。近年来,国民经济的发展、人民生活水平的提高,使人类健康意识得到普遍提高,如何安全、有效、经济的合理用药成为社会关注的焦点,合理用药也成为各机构迫切解决的问题。临床合理用药是指根据疾病种类、患者状况和药理学理论选择最佳的药物及其制剂,制定或调整给出用药方案,绝对的合理用药也是很难达到的,因此要尽量避免由于不合理用药引起的药源性疾病的发生。同时医院中存在大量医嘱方案数据信息,该数据具有很大的参考价值,但是又具有不确定、冗余等特点,因此对于数据信息的处理是本文另一研究重点。针对上述问题,本文设计并实现了合理用药干预系统。该系统在基本信息管理、用药干预、药师意见、配伍规则、系统维护等模块基础上,对用药干预中的医嘱方案用药审核和案例检索推荐、药师意见中的案例自主学习功能做具体研究和实现。利用药品、配伍规则等基本信息进行医嘱方案用药审核;案例检索推荐功能中,利用粗糙集理论相关算法处理不确定、不一致和不精确的数据原理计算属性的依赖度以及特征的权重值,并结合案例推理中的K-邻近算法计算历史案例与目标案例的相似度,筛选相似案例完成推荐功能;在案例自学习功能中则是利用粗糙集的属性约简算法删除冗余属性和冗余值,结合互信息中信息相关性的计算值,降低了计算量并提高了约简效率,更快速准确的选择出医嘱方案中的关键药品组合。为实现该系统正常运作和应用,经过需求分析和功能特点等多方面的考量,最终采用Java语言做统一业务开发,使用SSH框架进行系统架构,使用Oracle数据库进行处理庞大的药品和医嘱数据。合理用药干预系统在上述工作的基础上,经过需求分析、功能设计、系统实现、系统测试四个阶段实现整体功能。最终,其功能和性能都能满足用户的需求,实现预期目标。同时对规范用药行为、提高药物疗效、降低不良反应、提高临床治疗水平等提供了有益借鉴。
基于图嵌入的兴趣点推荐算法研究
这是一篇关于兴趣点推荐,图嵌入,互信息,交互函数的论文, 主要内容为由于人们对于美好生活的追求,“探店”和打卡行为在人群中逐渐流行。上述行为在基于位置的社交网络中被归纳为对带有服务属性位置(兴趣点)的访问。然而海量的兴趣点与用户有限的时间和精力形成了匹配问题,因此试图通过兴趣点推荐系统帮助用户更好地探索和发现符合自身喜好的兴趣点,减少用户的决策成本,从而提高用户的生活质量。用户与兴趣点交互可以用二部图这种结构来表示,图网络结构在捕捉用户与兴趣点的复杂关系上较有优势。因此本文的研究主要针对图嵌入下的通用兴趣点推荐,将兴趣点推荐这一问题分为两部分:基于图嵌入技术的向量召回和基于搜索技术的交互函数设计。现有的图嵌入技术多注重节点信息和结构信息,在编码器设计过程中将输入输出差最小作为目的,而输入输出的最小化并不能准确区分用户和兴趣点,因此我们选择了将子图和全局的互信息最大化作为目标,提出基于地理增强的用户兴趣点二部图互信息最大化嵌入模型,学习用户与兴趣点的表示向量。首先通过图神经网络学习用户节点和兴趣点节点的原始表示,从而获得用户-兴趣点二部图的全局表示和局部图表示,并通过破坏函数获得负样本,从而实现互信息的计算。在嵌入获得向量的基础上,为更好的模拟用户和兴趣点的交互,学习其复杂的关系,我们总结了前人对交互函数的设计,本文提出了一个新的搜索空间,以兼顾推荐的效率和性能,在不消耗过多的时间的前提下提升推荐的性能,由于多层感知机不能很好地模拟向量的点积操作,因此我们对于用户-兴趣点对例如(用户i,兴趣点j),这两组向量先进行向量运算,并将结果输入神经网络,最后输出预测结果。我们通过One-shot神经网络架构搜索算法,实现神经网络的自动化设计,避免了手动设计交互函数的过程。最后我们在公开的真实数据集上对算法进行实验验证,实验结果表示,本文提出的关于用户-兴趣点的图嵌入算法在向量召回阶段,比现有的嵌入算法和推荐算法在召回率和精确率上有一定提升。由新的搜索空间搜索得到的交互函数并结合之前得到的向量可以实现在图嵌入基础上的进一步提升推荐性能。
融合U-Net架构的One-shot语音转换算法及损失函数研究
这是一篇关于语音转换,One-shot,U-Net架构,互信息,三元组损失的论文, 主要内容为语音转换是一种将感知到的说话人身份从源说话人转换为特定目标说话人的语音处理技术。目前,语音转换技术在很多领域都展现出了广阔的应用前景,如个性化语音合成、影视配音、语音修复等。随着深度神经网络技术的发展,基于非平行的语音转换研究愈加受到研究者们的关注,而其中的One-shot语音转换以其能够自适应任意说话人的语音信息,实现开集转换的特性,成为了近两年新的研究热点。目前,One-shot语音转换主流的方法是通过语音表示解纠缠的方法来实现任意说话人之间的转换。但相关工作中,由于在说话人信息和内容信息分离的过程中,忽略了信息之间的依赖性,使内容信息泄漏到说话人信息中,导致“信息泄露”问题,造成转换后语音音质低;同时从一个看不见的说话人的语音中提取说话人信息的稳定性不足,因此转换语音的说话人相似度也有待进一步提升。针对上述One-shot语音转换存在的问题,本文在现有的工作的基础上,提出了相关的改进算法,来缓解上述问题,从而改善转换性能。首先,为了改善转换后合成语音音质,缓解“信息泄露”问题,本文提出了融合U-Net架构和互信息的语音转换方法。在典型的语音转换模型AdaIN-VC中融入了 U-Net架构,并在训练过程中引入了互信息度量。一方面,是为了减少说话人信息和内容信息的依赖性,实现信息的适当分离,提高转换音质;另一方面,由于U-Net架构在频谱重构方面的优异性,也有助于进一步改善音质。实验表明,相较基准模型AdaIN-VC、VQVC+和AGAIN-VC,本文提出方法的转换语音在音质上有所提高。在客观评测中,平均MCD值分别降低了 3.82%、2.32%和1.10%,语谱图在纹理细节上也更接近目标说话人;而在主观评测中,平均MOS值分别提升了 6.18%、3.47%和1.38%。同时,由WER值表明,提出的方法对于缓解“信息泄露”问题是有作用的。其次,为进一步提升转换语音的说话人相似度,本文在融合U-Net架构和互信息的语音转换方法中引入了三元组损失,来优化模型编码器提取说话人信息的能力。实验表明,在引入三元组损失后生成语音的相似度得到提高。本文进一步的改进方法相较于基准模型AdaIN-VC、VQVC+和AGAIN-VC,转换后语音的平均ABX值分别提升了 9.22%、6.70%和4.83%。所以,本文提出的方法较基准模型在转换性能上有不错的提升,对于One-shot语音转换的研究也是有帮助的。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码工坊 ，原文地址：https://m.bishedaima.com/lunwen/48142.html
