基于推荐算法的种植推荐系统研究
这是一篇关于深度学习,推荐算法,联合训练,深度交叉网络的论文, 主要内容为我国作为一个有着数千年农业史的农业大国,传统农业技术简单、完全依赖于经验,并根据经验进行种植决策,缺乏依据实际量化的数据平台。难以综合考虑到实际情况和种植元素差异,这种传统方式在一定程度上限制了我国农业技术的发展。随着技术的发展和神经网络的兴起,传统的农业模式的无法满足现代农业的需求,需要借助先进技术和信息化平台推进农业现代化来达到该目标。本文摒弃传统的方法,借助土壤数据及墒情生成建议列表,旨在帮助农民为土地选择合适的作物。该研究是根据作物所在区域的土地类型、土壤类型、土壤养分含量等特征属性,针对已有的土壤数据推荐模型缺乏土壤文本域信息、土壤数据交叉特征表述能力差等缺点而做的实验研究。本文主要做了以下研究工作:(1)本文改进了一种作物推荐模型,名为ADCN,它基于土壤数据的注意力机制深度交叉网络。该模型旨在解决传统推荐算法和深度学习推荐算法在土壤种植上忽略土壤文本域特征、不同特征交叉对结果影响程度不同等问题。ADCN模型结合了Logistic回归模型和注意力机制的优点,利用土壤数据中的文本域信息和特征交叉关系,提取了作物与地块类型、土壤类型交叉特征的权重作为改良其回归模型的权重依赖。在模型建立过程中,首先对土壤数据进行了预处理,采用均值补齐的方法解决了数据残缺、重复和不平衡等问题。然后,采用广度与深度模型的协同训练方法,通过小批量随机优化技术同时将输出的梯度反向传播到深度和广度两部分实现了同时优化广度模型与深度模型,以弥补深度模型的弱点。最后,引入了注意力机制并改进了多分类的激活函数,解决了传统推荐模型忽略土壤文本域信息和特征交叉的问题。(2)该模型融合了多个域的土壤数据进行作物推荐,并分析了土壤数值域数据和文本域数据之间的特征关系对作物推荐的作用。(3)借鉴SWD算法,将前文提到的改进后ADCN模型与广度模型进行联合训练,并通过归一化指数函数实现作物推荐。对比分析实验结果与其他主流模型。最终得出结论,改进后的模型对预测的精准度的比其他通用模型要高。(4)根据上述改进设计了作物推荐系统。实验表明该模型在性能上比目前常用的推荐模型表现的要好,相比原有的深度交叉网络模型(Deep Cross Network)性能提升了1.3%。
基于联合训练和无监督方法的中文知识图谱问答研究
这是一篇关于中文知识图谱问答,联合训练,无监督学习,度量学习的论文, 主要内容为知识图谱问答任务是指以知识图谱作为答案信息来源的自动问答任务。借助知识图谱问答模型,用户通过自然语言问句描述其信息需求,就可以从知识图谱中获取正确答案。因此知识图谱问答具有重要的应用价值。目前学术界已有较为丰富的关于知识图谱问答的研究,但这些研究主要集中在特定的英文知识图谱上,无法简单地直接迁移到中文应用场景中。因此中文知识图谱问答仍需进一步深入研究。此外,现有的知识图谱问答模型都以有监督学习为主,需要依赖一定规模人工标注的问答对数据,这限制了知识图谱问答在低成本小领域场景的应用。针对上述问题,本文进行了如下三个方面的研究。(1)改进中文知识图谱问答的state-of-the-art模型。目前中文知识图谱问答的state-of-the-art模型将知识图谱问答任务分解为问句主实体识别,实体链接和关系预测三个子任务。本文指出该模型三个子任务各自独立训练没有有效地利用各子任务之间的相关信息;此外该模型将主实体识别建模为一个序列标注任务,没有对问句中包含的主实体个数进行显式约束。本文使用共享参数的多任务联合训练技术和pointer-network来分别解决这两个问题,进一步提升了中文知识图谱问答的state-of-the-art性能。(2)提出基于度量学习的无监督关系预测模型。上述知识图谱问答模型需要使用人工标注的问答对数据进行训练,该数据标注难度较大。本文针对该模型中的关系预测子任务提出了一种基于度量学习的无监督关系预测模型。该模型利用候选关系和主实体自身的文本作为元信息,构造示例样本来表示候选关系的语义,通过恰当的策略利用预训练语言模型为问句和示例样本构造语义表示,并提出了一种语义相似性度量函数来计算问句和候选关系之间的语义相似度,最终达到了较好的性能。无监督关系预测模型可以使本文的基线知识图谱问答模型对标注数据的依赖从问答对数据降低为问句-主实体数据,这将显著降低人工标注数据的难度和成本。(3)提出基于语言表示的端到端无监督知识图谱问答模型。该模型利用知识图谱中全部三元组的头实体和关系谓词构造示例样本,通过在语言表示空间中找到和问句语义最接近的候选示例样本得到问句的答案,实现了完全无监督的知识图谱问答。此外,该模型通过向量空间中的近似最近邻技术以很低的计算资源近似实现了问句和知识图谱中全部候选示例样本的语义计算,因此在大规模知识图谱上也具有很好的可扩展性。该模型不依赖任何人工标注的训练数据,因此具有更低的应用成本和更广泛的应用场景。
基于联合训练和无监督方法的中文知识图谱问答研究
这是一篇关于中文知识图谱问答,联合训练,无监督学习,度量学习的论文, 主要内容为知识图谱问答任务是指以知识图谱作为答案信息来源的自动问答任务。借助知识图谱问答模型,用户通过自然语言问句描述其信息需求,就可以从知识图谱中获取正确答案。因此知识图谱问答具有重要的应用价值。目前学术界已有较为丰富的关于知识图谱问答的研究,但这些研究主要集中在特定的英文知识图谱上,无法简单地直接迁移到中文应用场景中。因此中文知识图谱问答仍需进一步深入研究。此外,现有的知识图谱问答模型都以有监督学习为主,需要依赖一定规模人工标注的问答对数据,这限制了知识图谱问答在低成本小领域场景的应用。针对上述问题,本文进行了如下三个方面的研究。(1)改进中文知识图谱问答的state-of-the-art模型。目前中文知识图谱问答的state-of-the-art模型将知识图谱问答任务分解为问句主实体识别,实体链接和关系预测三个子任务。本文指出该模型三个子任务各自独立训练没有有效地利用各子任务之间的相关信息;此外该模型将主实体识别建模为一个序列标注任务,没有对问句中包含的主实体个数进行显式约束。本文使用共享参数的多任务联合训练技术和pointer-network来分别解决这两个问题,进一步提升了中文知识图谱问答的state-of-the-art性能。(2)提出基于度量学习的无监督关系预测模型。上述知识图谱问答模型需要使用人工标注的问答对数据进行训练,该数据标注难度较大。本文针对该模型中的关系预测子任务提出了一种基于度量学习的无监督关系预测模型。该模型利用候选关系和主实体自身的文本作为元信息,构造示例样本来表示候选关系的语义,通过恰当的策略利用预训练语言模型为问句和示例样本构造语义表示,并提出了一种语义相似性度量函数来计算问句和候选关系之间的语义相似度,最终达到了较好的性能。无监督关系预测模型可以使本文的基线知识图谱问答模型对标注数据的依赖从问答对数据降低为问句-主实体数据,这将显著降低人工标注数据的难度和成本。(3)提出基于语言表示的端到端无监督知识图谱问答模型。该模型利用知识图谱中全部三元组的头实体和关系谓词构造示例样本,通过在语言表示空间中找到和问句语义最接近的候选示例样本得到问句的答案,实现了完全无监督的知识图谱问答。此外,该模型通过向量空间中的近似最近邻技术以很低的计算资源近似实现了问句和知识图谱中全部候选示例样本的语义计算,因此在大规模知识图谱上也具有很好的可扩展性。该模型不依赖任何人工标注的训练数据,因此具有更低的应用成本和更广泛的应用场景。
面向目标检测模型的压缩技术研究
这是一篇关于目标检测,轻量化,注意力机制,知识蒸馏,联合训练的论文, 主要内容为在过去的几年时间里,计算机目标检测技术迅猛发展。所谓目标检测算法,就是给定目标图像,通过该算法可以检测出图像中特定的物体,即同时达到定位和分类目标的目的。目标检测是目前计算机视觉领域的研究热点之一。伴随着5G网络商用化和城市现代化的发展,国家高度重视智慧交通、公共安全等重点方向的建设,而目标检测算法作为必要的基础性研究技术,在自动驾驶、城市管理、抢险救灾等现实场景中起到关键作用。虽然现在的多数目标检测模型在检测性能上已经取得了优异的成绩,但是在移动设备、嵌入式平台、物联网等资源受限的环境下,大部分深度神经网络需要消耗大量的计算资源,同时其缓慢的训练推理速度以及庞大的空间占用,让我们不得不将目光聚焦于轻量化目标检测网络。轻量化目标检测网络可以降低计算复杂度和空间占用,在各种资源受限或对计算速度、能耗、存储等有要求的场景中具有广泛的应用前景。对于模型轻量化领域,最近也出现了新的挑战,如何提出有效的模型训练方案,使轻量化目标检测模型仍然能够保持优异的性能。为了解决上述问题,我们的主要贡献是提出了全新的特征提取网络:互补卷积网络(CompleNet)。我们将该网络设计为并行结构,加速特征提取过程,优化该模块不同支路间的特征融合。在后续的改进中,我们在此模块最终输出特征图前加入了 Squeeze-and-Excitation Networks注意力机制模块,从而提升特征提取效果,同时引入模式参数入,针对检测目标不同的情况可以快速调整网络的检测性能。此外,该模块相较于现在主流的特征提取模块在参数大小和训练速度上均具有显著的优势,相对于ResNet50等其他特征提取网络,特别适用于移动端或者嵌入式设备的部署。同时,CompleNet特征提取网络在训练速度和推理速度上也取得了更优异的表现,相对于ResNet50特征提取网络分别提升了 1.422倍和2.425倍。另外,为了解决模型轻量化后性能恶化的问题,我们提出了针对于CenterNet目标检测网络特有的知识蒸馏训练方式——多教师联合知识蒸馏方案,该方案能有效解决模型轻量化后带来的性能恶化问题,很大程度缩小教师模型和学生模型之间的性能差距。将大规模复杂模型作为教师模型,去教导作为学生模型的小型化轻量模型进行训练。相比于直接训练的轻量化目标检测网络,使用该知识蒸馏方案可以在相同的训练轮数后达到更优的检测性能。在后续实验中,我们利用不同教师网络与真实标签之间的损失大小不同,提出了蒸馏注意力机制来优化多教师联合知识蒸馏的训练效果。在VOC2007数据集上,以MobileNetV2轻量化网络为例,相较于传统的CenterNet(主干网络为ResNet50)在mAP上只有1.99的降低,而参数大小压缩了 74.7%,推理速度提升70.5%,取得了更好的“性能—速度”平衡,同样经过100轮训练,使用了多教师联合知识蒸馏训练方式相较于普通训练方式,mAP 提升了 11.30。
分类任务驱动的点云深度下采样方法研究
这是一篇关于点云下采样,点云分类,联合训练,多尺度网络的论文, 主要内容为传统下采样方法对点云数据进行预处理,降低点的数量同时保持点云几何形状,其在实际应用中存在的问题是,忽略了采样点与下游应用任务的关联性,造成下游应用任务性能下降。任务驱动的深度下采样方法将采样过程与下游任务相结合,在采样网络中加入对应用任务的性能约束,使深度神经网络能够最终学习到一种针对任务优化的采样方法。但目前任务驱动的点云下采样方法中,采样模块普遍采用MLP提取点云特征,其特征提取能力弱,造成下游处理任务性能较低,仍存在改进的空间。因此,本文选题基于分类任务驱动的点云深度下采样方法,通过提高下采样模块的特征提取能力,从而进一步提升下游点云处理任务性能,完成的工作与创新点如下:(1)设计了一种基于Transformer的分类任务驱动的点云深度下采样网络。网络由采样模块和分类任务模块组成,其中采样模块由Transformer特征提取层和残差连接组成,特征提取层利用全局特征描述符对点云语义特征进行提取,并基于全局特征实现对采样模式的自适应学习,而引入残差连接旨在减少网络不同层之间信息的传递损失,提高网络鲁棒性。任务模块选取Point Net点云分类网络,通过级联的MLP层实现对点云特征进行提取,并引入分类准确度指标用来衡量采样点性能。最后,在Model Net40数据集上对提出的采样模块进行验证,结果表明,本文提出的采样模块在2倍、8倍、16倍、32倍采样率下,采样点任务准确度比其他3种参考方法提升约0.2%-6.9%,可视化结果也表明改进后的采样模块取得了更好效果。(2)针对采样模块在低采样率下性能不佳的问题,设计了一种分类任务驱动的并行多尺度Transformer点云深度下采样网络。首先,设计多尺度网络结构对采样模块进行改进,采样模块由多尺度特征融合模块与坐标对齐模块构成,前者首先通过设置不同采样半径,搭配KNN算法确定点云局部邻域,然后通过MLP对不同局部信息进行提取,最后经过最大池化层完成特征聚合;后者基于MLP实现对点云深层语义特征提取,利用输出的坐标仿射矩阵,改善因物体摆放角度不同对分类识别造成的误差。最后,对提出的多尺度采样模块进行实验验证,结果表明,在不同采样率下所提多尺度采样模块均能取得更好性能,尤其是在低采样率下采样模块性能提升显著,其可视化结果也表明所提采样模块对物体边缘点特征提取能力显著加强。
短文本用户评论的分类系统设计与实现
这是一篇关于短文本分类,网络爬虫,联合训练,Dense-RNN,Attention的论文, 主要内容为随着互联网的日益普及,用户在互联网上产生了大量对商品、服务等个人体验的评价。用户在购买产品前,通过浏览已购买用户的评论来对商品进行客观的评价,关注产品中的优势和劣势,为购买一个适合自己的产品提供有益的帮助。产品的评论信息呈几何级数的增长,人工分析总结所有用户评价也越发显得不现实。短文本的分类系统,可以让用户和商家对产品有一个更便捷的认识途径,通过对分类结果的比较,可以使用户对产品的实际使用情况有一个总体把握。本文主要完成了以下工作:1.系统的需求分析确定系统的目标和各项功能点。2.系统的概要设计确定系统的五个主要模块,系统的详细设计具体细化各主要模块。构建系统核心的分类模型中,主要的改进有三点:(1)针对现有Bi-RNN模型考虑历史信息较弱,从而导致五分类效果较差问题,提出一种改进的Bi-RNN模型,采用在GRU结点之前外加Attention层,并且为每个GRU的输出增加维度;(2)针对如何体现每个词对于分类结果的重要程度问题,采用将深度神经网络模型与Attention机制相融合的方法;(3)针对用户评判商品的打分标准不一致导致五分类精度不高问题,采用对评论的打分预测进行五分类和二分类联合训练的方法。实验结果表明,融合以上三种改进的分类模型达到了最优性能。3.系统在实现过程使用爬虫系统,获取了京东平台上购买手机的111万条用户评论信息。经过对大量垃圾评论的过滤之后,完成整个系统。最后,对系统及其各个模块进行了功能测试和性能测试。在功能测试中所有模块都达到了设计要求。在性能测试中,对比了完成不同功能点所需的时间开销。实验表明,该系统基本符合其适用场景的需求。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：代码项目助手 ，原文地址：https://m.bishedaima.com/lunwen/54594.html
