基于卷积神经网络与Transformer的视网膜图像血管分割方法研究

这是一篇关于视网膜图像血管分割,注意力机制,深度卷积神经网络,Transformer的论文, 主要内容为青光眼、黄斑变性、眼底渗出物和糖尿病等眼科疾病的患病率逐年上升,及早发现和治疗这些疾病才能有效保证患者的生活质量。由于人体中部分疾病的发生会导致视网膜血管发生变化,并在眼底表现出病变特征。而视网膜血管特征变化也常被医生作为诊断心血管疾病的重要指标。因此,准确的视网膜眼底血管医学影像分割对于辅助医生进行诊断和治疗尤为重要。近年来,卷积神经网络被广泛应用于视网膜血管像素分类和血管分割任务,虽然在提升视网膜血管实时分割效率和血管分割精度方面已经有了一些有效的研究成果,但仍存在一些问题:(1)现有的大部分方法对浅层的细节特征提取不完全或部分特征信息丢失,致使位于图像边缘的毛细血管难以准确分割。此外,眼底血管树分布一般是不对称的,血管动静脉与毛细血管直径差别很大,一些方法也很难对此同时分割。(2)虽然卷积神经网络具有提取图像局部特征信息的优势,但卷积块感受野有限且简单多次叠加容易造成信息损失,在特征提取以及血管分割方面存在局限性。(3)尽管Transformer在建模长距离依赖关系方面表现良好,但对于视网膜眼底血管分割任务来说局部信息也十分重要,仅使用Transformer难以保证实现血管的精确分割。针对以上问题,本文基于卷积神经网络与Transformer对视网膜图像血管分割方法进行了研究。论文研究的主要内容如下:(1)提出了一种基于跳过连接信息增强的多尺度视网膜血管分割网络(Skip Connection Feature Enhancement Network,SCFE＿Net)。首先,以多种尺度的视网膜图像作为输入,实现网络对不同尺度特征的捕获。其次,提出了特征聚合模块对浅层网络的信息进行聚合,利用浅层特征为网络提供更丰富的信息。最后,提出跳过连接信息增强模块融合浅层网络的细节特征和深层网络的高级特征,避免网络层与层之间信息交互不完全的问题。(2)在SCFE＿Net的基础上,从提取局部细节特征之间的联系和利用长距离的依赖信息做出补充的角度出发。引入Transformer机制,设计了一个联合卷积神经网络和Transformer的网络模型(Multi-scale Transformer-Position Attention Network,MTPA＿Unet)应用在视网膜血管分割任务上。MTPA＿Unet采用多分辨率图像输入的方式使得网络能够提取到不同层次的信息。将Transformer与卷积神经网络以串行的方式结合,提出的Transformer-位置注意力模块不仅能够捕获长距离依赖关系并且关注到血管像素的位置信息,从而有助于MTPA＿Unet实现了对毛细血管更精细的分割。(3)分别在三个公开的视网膜图像数据集DRIVE、CHASE和STARE上对本文提出的模型性能进行评估分析。通过在三个数据集上的训练和测试,SCFE＿Net模型准确率分别达到97.01%、97.67%、97.68%,特异度分别达到98.32%、98.65%、98.53%,Dice系数分别达到83.00%、81.81%、85.05%。相比于次优模型,SCFE＿Net提升了视网膜血管图像分割的精度。MTPA＿Unet模型准确率为97.18%、97.62%和97.73%;特异度为98.36%、98.58%和98.41%;Dice系数为83.18%、81.64%和85.57%。MTPA＿Unet不仅能够分割出完整的视网膜血管树,而且更进一步地改善了边缘血管细小末梢的分割精度。

基于深度学习的腺体癌症辅助分割算法研究

这是一篇关于腺体细胞分割,细胞核分割,U-Net,Transformer,半监督分割的论文, 主要内容为腺体病变引起的疾病如结肠腺癌、胰腺癌、乳腺癌等的发病率逐年增高,腺癌已经成为严重损害人类健康的恶性肿瘤之一。现在对腺体病变的诊断主要依赖病理、超声、钼靶、核磁共振等进行筛查。出现疑似情况,进行病理穿刺检查,并通过对病理图像中的分子分型做出分析,判断是否癌变,以及恶性程度。因此分析腺体图像结构的大小、形状和其他一些形态表现,是作为腺癌病情诊断的重要依据。传统的病理图像分析主要依靠病理学家人工观察分析,但这种人工分析工作量巨大,难度高,而且因为病理专家的专业素养不一,个人主观经验等,会造成不可避免的误判以及结果的可复现性差。而近些年,得益于全切片扫描设备的出现和发展,让病理学家很方便的在计算机上进行分析和保存病理图片,这为计算机辅助病理图片分析奠定了基础。近些年来,一些结合图像处理的辅助诊断技术不断出现,有效缓解了病理图片分析的任务难度。因此,本文根据图像特性与任务需求,设计了三种分割算法:(1)提出了基于U-Net的结肠腺体病理图像分割算法。该算法基于U-Net模型,根据腺体细胞分割数据集的特点,对网络编码部分进行了改进。首先,针对腺体细胞在整个分割图像中所占比例较大的特点,使用3×3卷积级联的方式增大了网络的感受野。同时,将每层卷积的输出特征图在最后进行拼接,以丰富编码网络的多尺度信息,优化小目标和边界的分割精度。最后在残差连接处引入压缩&激发模块,通过对各通道间关系的建模来抑制其中的无用信息,优化最初传递的特征图,减少对编码网络的干扰。(2)提出了基于Transformer和CNN的双分支腺体病理图像分割算法。卷积神经网络有较强的归纳偏置能力,在数据集较小时仍能发挥较好性能,另外在识别图像纹理时卷积神经网络有较强优势。与之相比,Transformer具有较强远程依赖捕捉能力,使其更偏向捕捉目标的形状,而这正是卷积神经网络所缺少的。因此本章算法以双分支网络的形式,使卷积神经网络和Transformer网络并行解码-编码,然后在编码过程中通过交叉融合模块将两者的特征图进行融合。通过融合,缓解Transformer因缺少预训练而导致的性能不足,以及将两者获得的编码信息进行融合互补,优化其分割性能。最后通过分割头,将两者的分割结果合并。(3)提出了基于一致性学习的半监督细胞核分割算法。因为细胞核分割数据集中训练图像的数量非常少,因此希望引入与之类似的数据集来进行扩充。但在实际任务中因为所关注的领域和任务方向不同,图像的标签往往存在一定差异。因此本章提出一种基于一致性学习的半监督分割算法,利用类似数据集,舍弃其中不匹配的图像标签,将图像作为无标签数据来训练网络。本章以学生-教师模型为基础,利用上一章中提出的模型作为网络骨架,来提取图像中的特征,然后利用半监督算法中的一致性学习策略来训练网络。另外,本文通过使用教师模型和学生模联合生成伪标签,并且在交叉熵损失函数的基础上进行改进,希望网络对预测结果中置信度不高的区域也施加一定的惩罚,通过改进的损失函数,希望网络对无标签数据给出置信度更高的预测结果。

基于非对称注意力机制模型的推荐算法研究

这是一篇关于推荐系统,深度学习,自然语言处理,Transformer,自注意力机制的论文, 主要内容为在信息化时代,数据爆炸式增长,实时数据资源在赋能经济社会生活高质量发展的同时也带来信息过载问题,人们从海量信息中筛选出感兴趣的内容显得尤为困难,推荐算法应运而生。它不仅能快速为用户定位所感兴趣的内容,节约用户筛选信息的时间,还能为信息提供者带来可观收益,推荐算法的研究由此受到广泛关注。但现有评分预测推荐模型仅利用评分数据,而用户和物品交互的评分矩阵往往极度稀疏,利用社交、时间等信息补充特征的研究却忽略了具有丰富信息的评论文本,使用了评论的模型也有不足之处,比如未挖掘评论更深层的语义信息,未考虑用户和物品评论主题差异性等。针对以上问题,本文借助深度学习技术提出非对称局部-全局注意力推荐模型(Asymmetrical Local-Global Attention Model,ALGAM),主要研究内容如下:1)引入评论缓解数据稀疏问题。在用户和物品组成的评分矩阵中,有交互信息的数据只占极小部分,元素大都处于缺失状态,可用信息寥寥无几,数据缺失影响模型预测准确性。本研究通过引入评论文本信息来丰富用户和物品画像,利用神经网络模型挖掘文本中用户和物品特征,相比单纯使用评分信息的模型,能够在一定程度上缓解数据稀疏问题。2)利用动态词向量准确建模评论语义。自然语言文本是非结构化信息,有其自带的天然属性,如歧义性、进化性和高度抽象性等。如果使用静态词向量工具,则无法挖掘准确的语义信息,只能学习到浅表的含义。本研究采用动态词向量工具并结合微调操作不断优化文本表示向量,使得模型能够学到更深层次的语义信息,从而获得更为精准的文本向量表示。3)应用双重注意力多角度建模评论语义。评论文本撰写的用户不同,评论的质量良莠不齐,评论的信息量也有丰富和贫瘠的差异,每条评论的参考度应有所区别,不能一视同仁,同时评论与评论之间也蕴含着某些潜在的关联关系。本研究采用双重注意力从不同层面获取特征,其中全局注意力用于判断每条评论的重要程度,局部注意力用于捕获评论与评论之间的关联关系,从而提高文本信息利用的准确率。4)采用非对称方式差异化建模用户和物品画像。用户评论主题具有异质性,所描述的物品往往不同,而物品评论主题具有同质性,往往描述同一物品,因此从评论中获取用户和物品特征的方式要有所差异。与以往研究不同,本研究在评论级别上采用非对称方式对用户和物品建模。预测用户对物品打分时,用户肖像刻画参考当前物品特征,重点关注与物品特征匹配高的用户评论。而在评论级别上的赋权值,保证了用户评论中物品特征之间的独立性,从而获得用户在面对不同物品时喜好的变化。最后将本文提出的ALGAM模型,在亚马逊四个不同领域的数据集上进行评估,并将目前较为先进的深度学习模型(Neural CF、Deep MF、Deep Co NN、TARMF和AHN)作为基准模型,使用MSE(Mean Square Error)评估性能。实验结果表明,ALGAM表现更佳,相比于所有基准模型整体均有所提升,其中在Automotive数据集上MSE降低至0.452,验证了本文提出的模型能提高评分预测的准确性,继而提升推荐性能。

基于爬虫的新闻网页分词系统的研究与设计

这是一篇关于新闻数据,中文分词,Scrapy,Albert,Transformer的论文, 主要内容为大数据时代背景下,如何获取大量数据并处理为研究工作中所需数据已成为大数据研究领域的首要问题。如网络新闻热点话题预测、新闻舆情监测等涉及新闻数据研究领域中,新闻数据的获取、分词等既是基础也是关键。如何在短时间内对目标新闻数据进行采集并存储、准确地完成数据分词等问题涉及后续研究工作多个方面:如分词结果的准确率直接影响后续数据分析的准确性。针对新闻数据研究领域中涉及的目标数据获取、文本分词两大首要问题,本文以央视新闻网为例,依据其网页结构以及数据分布等特点,利用Scrapy网络爬虫框架结合布隆过滤器算法解决新闻目标数据采集与存储问题;通过结合基于双向Transformer结构的Albert(A Lite Bert,轻量级Bert)预训练语言模型与CRF(Conditional Random Field,条件随机场)构建Albert-CRF模型,完成对新闻数据的文本分词任务。通过研究、设计、实验等工作,实现基于Scrapy爬虫框架的央视新闻网页数据采集以及Albert-CRF模型分词的新闻网页分词系统,并验证此研究课题能够为涉及新闻数据研究领域的工作提供有效的、可靠的数据采集与文本切分处理方法,满足研究任务需求。工作内容主要分为以下几个方面:(1)研究、分析央视新闻网站网页特点以及数据分布,结合Scrapy框架与布隆过滤器去重算法制定基于新闻类别的数据自动化采集方法,实现新闻网页数据采集与存储。(2)依据《人民日报》语料库格式构建社会新闻专题领域语料库用于新闻网页分词系统模型训练与文本切分任务。(3)基于Albert预训练模型输入序列最大长度受限问题,本文设计文本预处理模块,针对长度超过512的文本进行断句切分,对文本内容进行统一的规范化处理。(4)以Albert预训练语言模型为基础结合CRF的标签约束能力,提出、构建Albert-CRF分词模型,用于新闻数据分词任务;在同等实验环境、超参数设置以及语料库下,分别对Albert模型以及本文提出的Albert-CRF模型进行文本切分实验:实验证明,在Albert模型之后接入CRF层能够有效约束输出的标签序列,分词性能有所提升。基于课题研究和相关工作,本文在新闻网页数据采集方面主要介绍了网络爬虫相关技术、Scrapy爬虫框架原理、工作流程以及新闻网页数据采集模块的设计过程;在分词技术研究上,对分词技术的研究与发展进行简要阐述,重点介绍课题研究中的分词预训练模型——Transformer模型结构和机制、Bert与Albert预训练模型原理和结构、条件随机场(CRF)中的预测算法以及相关实验过程。

基于深度学习的电商实时推荐系统的设计与实现

这是一篇关于推荐系统,PLE,Transformer,Lambda架构,Parameter Server的论文, 主要内容为对于当今互联网公司,推荐系统已经成为了业务增长的重要引擎。好的推荐服务能够提高用户满意度,有助于互联网公司实现商业化的目标。随着互联网业务的发展,推荐系统要求能够处理海量数据;要求推荐结果精度高,能够满足用户的兴趣;要求推荐结果具有实时性,能够实时捕捉用户兴趣的变化,及时更新推荐结果。针对以上三点要求,本论文设计并实现了基于深度学习的电商实时推荐系统。本论文设计的推荐系统实现了先召回后精准排序的推荐模型,同时实现了电商平台的基础功能。通过详细的需求分析,对项目整体功能进行模块划分,得到用户交互模块、数据预处理模块、推荐模型训练模块和推荐模型预测模块四大功能模块。其中,用户交互模块产生海量数据传到数据预处理模块;在数据预处理模块,应用大数据框架处理海量数据,离线和在线两条数据流的设计满足实时性要求;推荐模型训练模块实现商品特征Embedding预处理,并分别实现了离线批量和在线增量的分布式模型训练,满足处理海量数据和实时性的要求;推荐模型预测模块设计先召回后精排的两阶段模型,实现基于HNSW算法的双塔召回模型,创新性地提出PLE结合Transformer的精排模型,兼顾了实时性和模型精度。作者独立设计并完成了以下四个功能模块:(1)用户交互模块:使用SpringBoot和MyBatis设计并实现了商品展示、购物车、商品购买、个人信息管理、获取商品推荐等功能。(2)数据预处理模块:应用Lambda架构实现离线和在线两条数据流,其中离线批计算使用Spark框架,实时流计算使用Flink框架,得到用户和商品的正排、候选、倒排数据流。根据用户对推荐结果的反馈,使用Flink框架进行样本拼接,得到正负样本。(3)推荐模型训练模块:用Node2Vec模型对商品特征Embedding进行预训练。使用Parameter Server实现分布式训练机器学习模型,对精排模型进行离线全量和线上增量训练,并存储训练好的精排模型参数。(4)推荐模型预测模块:包括召回和精排两个环节。在召回环节,实现基于HNSW算法的双塔模型,得到向量化召回,并进行多路召回合并,结果输入到精排模型。在精排环节,读取已经训练好的精排模型参数,计算最后的排序结果,给用户返回推荐结果。为了更好地挖掘用户行为序列数据中隐藏的用户兴趣信息,本文创新性地提出PLE结合Transformer的精排模型,实验结果表明其在多个目标任务中优于传统精排模型。

基于深度学习的路面裂缝提取关键技术研究

这是一篇关于计算机视觉,裂缝识别,图像处理,深度学习,卷积神经网络,注意力,Transformer的论文, 主要内容为随着我国的基础设施建设的高速发展以及道路通行车辆的不断增加,道路路面不可避免的就会出现裂缝等病害,对正常的交通运输和车辆的安全驾驶都产生了不同程度的影响。因此,路面裂缝作为路面病害的早期阶段,对路面裂缝进行检测的工作非常重要。而现阶段的路面裂缝检测中,大多数采用人工检测的方法,存在着检测效率低、检测精度低以及影响正常交通运行的缺点,还有部分采用机器学习进行道路裂缝检测的方法,在复杂环境下存在对裂缝图像识别准确率较低、鲁棒性较差的问题。因此,针对以上问题,本文对路面裂缝图像的分类和分割两项关键技术进行了研究,提出一套基于深度学习的路面裂缝提取方法,该方法包括图像预处理、裂缝分类和裂缝分割等技术,对路面图像的处理流程主要是先对路面图像进行预处理,然后对经过预处理后的图像进行分类,最后对分类后有裂缝的图像进行分割提取操作。首先,本文提出了一种基于卷积神经网络的裂缝分类模型RGNet。该模型针对残差网络模型复杂、参数量大的问题,将Ghost Net中的“幻影”结构引入残差模块后,再融合卷积注意力模块(Convolutional Block Attention Module,CBAM)注意力机制,在保证模型分类准确率的同时减少了模型的参数。针对裂缝图像中裂缝区域占比很小的特点,进行了图像增强。并且对交叉熵函数进行改进,采用加权交叉熵函数,缓解了裂缝样本不均匀的问题,实现了对路面裂缝的精准判断。接着在对裂缝图像完成分类的基础上,本文提出两种方法对有裂缝的图像进行分割。第一种方法是在传统的UNet模型的基础上进行改进,提出了RSAUNet分割模型。针对原始UNet模型分割精度低和未充分考虑图像不同区域之间的相互关系的问题,在UNet的下采样和上采样的过程中采用优化后的残差连接,在跳跃连接的部分加入自注意力机制。针对裂缝分割图像中的连通性问题,提出一种考虑像素连通性的交叉熵损失函数。为减少图像中的噪声干扰,对裂缝图像利用中值滤波的方式对路面裂缝图像进行预处理。这些改进使本文RSAUNet模型能有效处理位于复杂背景下的路面裂缝图像,实现对路面裂缝图像的像素级分割。第二种方法是尝试将在计算机视觉领域表现优异的Transformer应用到路面裂缝分割中,这是一个前人未做过的工作。本文提出了一种基于Transformer的裂缝图像分割模型Crack TUNet,该模型首先将卷积块和Transformer结合作为编码器的一部分,然后通过本文所提出的融合模块与UNet的编码器进行特征融合,旨在结合Transformer和UNet的优点,摒弃二者的缺点,以实现对路面裂缝图像的分割。最后通过实验表明,本文提出的裂缝分类模型RGNet和裂缝分割模型RSAUNet相较其他方法更优,具有良好的鲁棒性和有效性,具有理论意义和一定的工程应用价值。相较于本文第一种基于卷积神经网络的裂缝分割模型RSAUNet,第二种基于Transformer的裂缝分割模型效果还不是很理想。因此,如何将Transformer更好地应用在路面裂缝识别领域,将是本文日后的重点研究工作。

基于Transformer的淋巴瘤超声影像描述生成模型与应用

这是一篇关于淋巴瘤,超声影像描述,Transformer,记忆机制,深度稳定学习的论文, 主要内容为淋巴瘤是起源于淋巴造血系统的恶性肿瘤,是血液肿瘤中发病率最高的类型。对于疑似恶性淋巴瘤的筛查手段有很多。近年来,先进超声检查技术在临床上的应用,为淋巴瘤的诊断提供了更加便利的条件。高分辨率超声能显示淋巴瘤的大小、形态和内部回声结构及其变化,提供丰富的诊断信息,临床医生可以凭借其镜下超声表现筛选出疑似细胞进而通过穿刺活检获得明确的病理诊断。但对于临床经验较为缺乏或非肿瘤科领域的医生来说,镜下筛选过程相对困难且容易出现误判、漏判的情况。此外,在很多疾病的影像诊断中,尤其是病理学显微镜影像,医生之间的诊断一致性非常低。所以在临床中,医生通常需要获得补充性意见作为参考。近几年来大量的工作致力于图像字幕任务,这是一个融合计算机视觉、自然语言处理和机器学习的综合问题,旨在根据图像给出能够描述图像内容的自然语言语句。随着机器学习和深度学习技术的发展,越来越多的学者开始探索如何为医学影像自动生成影像描述。医学影像描述的自动化生成可以大大加快工作流程,提高医疗保健的质量、促进其标准化。如肺炎和气胸等放射学或病理图像的影像描述工作,在医院诊断过程中已经被广泛应用。这是一个相对静态的过程,医生只需要关注检测中筛选出的典型案例或最终影像。不同于之前的工作,本研究期望为超声科医生镜下所见的每一帧影像图片,实时动态的生成相应的视觉描述,为淋巴瘤的筛查提供帮助。本文具体做出了如下几个方面研究工作:(1)提出了一个基于的Transformer模型的淋巴瘤超声影像描述生成模型。基于序列结构对输入的淋巴瘤超声影像生成影像描述。其次,在模型结构中引入记忆机制,在生成过程中隐式地对影像描述中的语义信息进行建模和记忆,从而可以提升Transformer的解码效果,并能够生成有意义且包含语义信息的影像描述。最后,提出将深度稳定学习融入到模型中,通过训练样本的学习到权重去除特征之间的依赖关系,使模型更加关注淋巴瘤而不是软组织背景。(2)本文对淋巴瘤超声影像描述生成模型的稳定性与可解释性进行了研究,通过基于随机傅里叶特征的稳定性分析和基于Soomth Grad的梯度分析法验证本文提出模型在淋巴瘤数据集上的稳定性。此外,模型通过可视化解码器中的交叉注意力层的注意力图的方式来对预测影像描述进行可解释分析。(3)最后,本文设计并实现了淋巴瘤超声影像描述辅助生成系统。采用Spring Boot框架构建本文系统后端,使用Vue来构建系统前端页面。系统结合模型特点并根据临床医生需要实现了影像描述生成、可解释分析等功能。