对用户兴趣点建模的点击率预估问题研究
这是一篇关于推荐系统,点击率预估,深度学习,注意力机制,残差网络的论文, 主要内容为随着时代的发展,互联网中各类信息的数据量在不断增加,传统的点击率预估方法已经无法满足当今时代的需求,应用深度学习模型来解决点击率(Click-Through-Rate,CTR)预估问题已经成为一种趋势。本文主要工作如下:为提高Deep FM模型表达能力,提出基于注意力机制和残差网络的项目特征提取深度学习模型(Deep Learning Model of Item Feature Extraction Based on Attention Mechanism and Residual Network,DIAR)。DIAR模型延续了Deep FM模型的设计思想,可以从多层面挖掘数据信息。DIAR模型共分三个模块,分别为:浅层特征提取模块、深层特征提取模块和点击率预估模块。浅层特征提取模块由带有域特征的现场感知因子分解机模型来实现,该模块用于提取数据中最本质的信息。深层特征提取模块使用卷积神经网络模型实现,同时,该模块还分别使用残差模块设计思想、注意力机制、规范隐藏层输出这三种技术来提升模型对数据深层特征的挖掘能力。DIAR模型中的点击率预估模块负责将数据的浅层特征和深层特征相结合,并输出点击率预估值。DIAR模型在pytoch深度学习框架下实现。相比于Deep FM模型,DIAR在Avazu数据集上的GAUC值提升了0.3%,Log Loss值降低1.0%;在Criteo数据集上的GAUC值提升了0.8%,Logloss值降低0.7%。为提高DIAR模型的表达能力,提出对用户兴趣点建模的深度学习点击率预估(Prediction model of deep learning click through rate for modeling user interest points,PDU)模型。PDU模型共分三个模块:用户特征提取模块、待推荐物品特征提取模块、点击率预估模块。用户特征提取模块首先分析用户的行为序列,从用户行为序列中提取出包含用户兴趣信息的特征向量;然后将带有用户兴趣信息的特征向量与包含用户基本信息的特征向量相结合,完成对用户信息的初级建模;最后PDU模型通过DIAR模型来实现进一步的信息提取,完成对用户信息建模,并获取到用户特征向量。待推荐物品特征提取模块直接采用DIAR模型实现,该模块用于获取待推荐物品特征向量。PDU模型中的点击率预估模块会分析用户特征向量和待推荐物品特征向量,并输出点击率预估值。PDU模型同样在pytoch深度学习框架下实现,并在Movielens-1M数据集上完成实验,PDU模型的GAUC值相比于DIAR模型提升了0.3%,Logloss值降低了0.3%。
基于多域特征选择的运动想象脑电信号解码研究
这是一篇关于脑机接口,运动想象,深度学习,残差网络的论文, 主要内容为随着科学技术和智能化设备的发展,脑机接口(Brain-computer interface,BCI)技术逐渐进入到人们的视野当中。基于运动想象的BCI技术是其中极具发展潜力的方向,在医疗、娱乐、商业及军事等领域均取得了较好的发展成果。BCI技术发展迅速,但在脑电图(electroencephalography,EEG)信息提取的一些关键问题上仍存在着很大的提升空间,包括解码率、可解释性以及在线应用的可用性等。解码率是EEG信号提取的关键研究方向。在基于运动想象EEG的解码过程中,信号分析和转换算法是将大脑神经信号解码为机器能够识别和状态表示的关键组成部分。在训练强度保持不变的情况下,改进信号分析和转换的算法以进一步提高解码性能,优化BCI系统的控制能力已成为该领域研究的重点和难点。共空间模式(Common Spatial Pattern,CSP)的空间权重能够有效的应用于基于运动想象的BCI系统中EEG信号的解码研究。在CSP的优化方法鉴别滤波器组(Discriminative Filter Bank CSP,DFBCSP)中,需要找到与运动想象任务相关的频带。为了解决这一问题,通过增加通道数据优化了子频带的选择。同时,对于DFBCSP算法中所使用经典的样本协方差估计,受到离群值影响较大且存在高度非稳健的特点,使用最小协方差矩阵(Minimum Covariance Determinant,MCD)获取协方差矩阵的稳健估计。论文通过筛选频带以及减少离群值对特征提取的影响,提出了基于双通道MCD-DFBCSP算法从频域和空域角度进行特征提取,并通过线性判别分析方法进行了分类验证。实验结果表明,论文所提出的方法能够增强通道中有效子频带的选择,减少离群值影响,有效提取频域和空域特征,最终在二分类的脑电数据集上分类准确率达到了83.1%。论文针对EEG信号特征提取与分类问题,进一步应用深度学习方法探索运动想象EEG信号的解码研究。论文采取结合双向长短时记忆网络(Bi-directional Long Short-Term Memory,Bi LSTM)以及卷积神经网络(Convolutional Neural Networks,CNN)的方法,其中,Bi LSTM可以通过时间拓展,在时域上实现神经元在多个时间节点输出的计算,适用于描述连续状态输出;CNN网络具有优秀的空间扩展性,通过神经元和空间卷积运算可以在空域上高效地提取空间信息。将两种网络结合起来的网络模型,可以同时获取时域和空域的特征信息。此外,通过对网络模型添加Attention机制,提升重要特征的权重,进一步提高了网络模型的解码精度。网络模型在三分类运动想象EEG数据集上进行验证,取得了较为优异的92%分类准确率,证明该模型在时域以及频域的角度上能够有效解码运动想象EEG信号。同时通过召回率、精确率、F1分数以及损失函数进一步验证了模型解码的有效性。为了进一步挖掘运动想象EEG信号的特征并且减少网络层数过多所带来的负面影响,论文在在CNN和Bi LSTM的基础上进行拓展,引入了残差网络(Residual Network,Res Net),提出了CLRNet网络模型。具体为通过CNN进行空间卷积运算找出EEG信号中具有信息量最大的线性子空间,通过Bi LSTM捕获时间动态获取时域信息,使用Res Net对Bi LSTM的多网络输出进行跨层连接增强模型的数据处理能力,最后通过Softmax函数对提取的特征进行分类实现EEG信号解码。该模型在9个脑电数据集上进行四分类验证达到了89%的平均准确率。实验结果证明该模型具有较强的网络泛化能力,对于复杂的MI-EEG信号解码有着更优异的表现。
基于多源融合高精度位姿估计的三维重建系统设计与实现
这是一篇关于三维重建,位姿估计,残差网络,多源融合的论文, 主要内容为随着计算机视觉技术的飞速发展,三维重建技术已广泛应用于各个领域,诸如机器人导航、医学影像、增强现实(Argument Reality)、运动捕捉、城市规划以及考古学等领域,促进了行业的多元发展,便捷了人们的生活。随着深度学习的蓬勃发展,三维重建的发展也走上了快车道,研究者们开始将深度学习与三维重建相结合。本文设计及实现了基于多源融合高精度位姿估计的三维重建系统,采用多种传感器结合,采用紧密耦合的方式融合相机传感器和高精度的IMU(Inertial Measurement Unit,惯性测量单元),获取高精度的相机位姿,然后结合标定的相机内参,能够重建出高精度的三维模型。基于多源融合高精度位姿估计的三维重建系统采用基于ResNet50的特征金字塔网络进行训练得到模型权重,用户只需上传一组连续图像以及对应的相机位姿,同时上传相机内参,本文经过后台处理加载训练得到的模型权重文件即可返回重建的三维模型。开发工作方面,本文基于软件工程的思想,首先调研了三维重建技术、位姿估计技术的研究现状,选取了系统开发用到的技术;然后介绍了本文融合RGB-D相机与高精度IMU的方式和训练使用的网络模型;然后本文对系统进行了功能性需求分析和非功能性需求分析,使用了用例图、流程图等方式;接下来是系统概要设计,主要包括各功能模块的设计以及数据库的设计;本文详细介绍了系统各模块的设计与实现,进行了系统的详细设计与实现;最后本文对系统进行了全面的系统测试,确保了本文系统可在高并发环境下安全使用。目前,本文的系统开发和测试工作已经完成,本文提出的室内三维重建系统可以实现良好的用户交互,用户可以轻松生成三维模型并进行三维模型的管理,为用户提供了便捷的重建服务,同时基于云服务进行开发,可以轻松实现模型文件云存储,本系统体现了良好的前景及应用价值。
基于半监督学习的中文电子病历实体关系抽取研究
这是一篇关于中文电子病历,关系抽取,半监督学习,残差网络的论文, 主要内容为电子病历(Electronic Medical Record,EMR)是在医疗活动过程中产生的临床记录,包含了海量的医学知识和患者健康信息。电子病历的实体关系抽取是通过识别电子病历中具有独立概念的医疗实体和实体之间的关系,进而将非结构化的自由文本转为结构化的医学知识。由于电子病历中医学术语、特殊符号较多,病历描与一般文本有差异,使得用于开放领域内自然语言处理技术在电子病历文本上的效果不佳。针对中文电子病历标注语料库匮乏,中文医疗实体结构嵌套、边界模糊,现有关系抽取方法中文本语义信息缺失等问题,围绕中文电子病历的实体关系抽取任务,做了以下研究:(1)针对缺少中文电子病历的实体关系标注语料库的问题,获取了CCKS分别在2017、2019和2020年发布的共享数据集,制定了医疗实体关系标注规范,并根据规范标注了11类实体关系,共7000条,形成了用于半监督学习的中文电子病历实体关系标注语料库。(2)针对中文电子病历文本中医疗实体存在的结构嵌套和边界模糊问题,提出了基于联合特征和多头注意力机制的实体识别方法。该方法使用字符、词性和词典组成的联合特征作为文本向量表示,利用Bi LSTM和多头注意力分别提取句子的全局特征和局部特征,最后利用CRF结合所有特征并完成实体标签的预测。与目前的四种主流模型CRF、Bi LSTM-CRF、Bi GRU-CRF和Lattice LSTM进行对比,该方法取得了最优的结果,F1值达到89.16%。(3)针对目前浅层神经网络中实体关系抽取方法特征提取能力较弱,无法有效捕获病历文本中复杂的语义信息的问题,提出了基于残差网络、门控循环单元和注意力机制相结合的混合神经网络关系抽取模型,并使用boostrapping算法改进了模型的训练过程。实验结果表明,该方法在整体关系类别上F1值达到89.78%,在SAP、SNAP、Te AS、Tr AD、和Tr AP等关系类别上的F1值分别达到了93.91%、92.96%、94.74%、93.01%和95.48%。(4)使用Neo4j图数据库对抽取出的所有实体关系进行结构化存储与可视化展示,构建了中文医学知识图谱。通过查询语句对知识图谱进行展示和分析,验证了所构建的医学知识图谱的正确性。
基于2D ResU-net深度学习网络的关节滑膜MRI图像的分割方法研究
这是一篇关于滑膜炎,MRI图像,图像分割,U-Net网络,残差网络的论文, 主要内容为滑膜炎是一种多发性的迁延难愈性疾病,是很多骨关节疾病,尤其是类风湿关节炎的重要病理表现,早期对病情做出诊断及寻找预示骨质破坏的指标,对于病情评估和制定有效的治疗方案具有极为重要的意义。为了精准的确定患者病情并制定出有效的治疗方案,医生往往通过手工勾画来提取MRI图像中的滑膜增生区域并进行不同等级的标注,但该方法存在耗时长、效率低,具有一定主观性,且对疾病的严重程度及其治疗效果的判断往往缺乏可靠性及一致性等问题。为了解决以上问题,试图探究使用AI训练模型实现滑膜增生的自动检测。在实现滑膜增生自动检测的过程中,快速、准确的将滑膜增生组织区域从图像中提取分割出来,是整个检测过程中的关键步骤,对于辅助临床医生及时对病情做出正确的诊断发挥着不可忽视的作用。近些年来,由于深度学习得到了飞速的发展,基于深度学习的图像分割技术,被广泛应用到了医学图像分割领域,其中以U-net分割算法在医学图像分割领域的应用最为广泛。但由于关节滑膜病变区域的分布范围较大、各部病变形态不一,U-net模型在关节滑膜MRI图像分割中并未达到预期的效果。为了得到更精准的分割效果,针对U-net网络深度略有不足的缺点,本文提出了一种新的网络结构,即2D ResU-net网络结构。该网络将U-net网络与He等人于2015年在ILSVRC竞赛中提出的ResNet(Residual Network,残差网络)相结合,并对网络进行了批标准化处理等相关操作。残差网络的加入,使U-net网络结构的深度变得更深,从而增强了网络的特征提取和分类能力,同时也使网络较深时的梯度消失问题得到了有效解决,从而提升了分割效果。此外,在网络训练过程中,通常需要定义一个损失函数来估量模型的预测值与真实输出之间的损失,考虑到部分滑膜图像只有一个或两个目标,且目标像素比例较小,使网络训练较为困难,因此本文选用Dice loss作为损失函数。与U-Net算法相比,2D ResU-net算法DSC系数提升了10.72%,交并比(IOU)指标升高了4.24%,体积重叠误差VOE系数降低了11.57%。实验结果表明,本文所提算法对于MRI图像中滑膜增生区域可以实现较好的自动分割效果,具有较好的临床应用前景。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕业设计驿站 ，原文地址：https://m.bishedaima.com/lunwen/46242.html
