基于深度学习的中文机器阅读理解方法研究与实现

这是一篇关于机器阅读理解,DuReader2.0,BERT,混合注意力机制的论文, 主要内容为机器阅读理解作为智能问答技术的全新方法,让机器解析用户输入的问题,理解用户意图,通过机器阅读理解模型从文章中快速、准确地检索并查找到细粒度的答案片段。它能为广大用户提供一种高效的答案检索方式,被广泛应用到百度搜索、自动问答机器人、智能客服机器人等场景,具有良好的发展前景和应用价值。随着机器阅读理解中/英文数据集种类增加、复杂度的扩大化以及硬件图形处理器算力的大幅提升,机器阅读理解系统逐渐由传统浅层语义分析向深度语义理解层面转变。现有大部分机器阅读理解模型存在以下问题:采用传统词向量无法高效捕获丰富的字词关系;利用双向循环神经网络或者卷积神经网络对文本进行编码的方法不能有效利用文本中的长距离依赖,并且当前深度学习模型并未考虑深层语义信息等语言学线索;问题和文章的语义信息没有进行充足的交互融合,模型无法从文章中精准定位答案。基于以上问题,本文使用Dureader2.0数据集,基于BERT模型从文本表示和特征融合等方面进行改进,构建了一种基于多个高层网络捕获高级语义特征信息和融合自注意力机制的中文机器阅读理解模型,并采用混合注意力机制进行模型性能提升,实现对文本和问题的多层注意力交互。最终模型的训练开销降低,且提升了预测问题答案的准确率。本文的主要研究工作如下:第一、提出两种新的机器阅读理解模型。为了改善传统词向量不能捕获丰富字词关系的现状,本文采用预训练模型BERT作为文本编码器进行初始编码,按照Transformer编码器原理模拟多个高层网络捕获高级语义特征信息,实现对文本和问题进行多层注意力交互。但C-S Reader模型在全局语义关系构建以及较长距离语义推理上仍有显著缺陷,本文又基于该模型融入混合注意力机制,加入Random Synthesizer和Dense Synthesizer两种注意力合成器,进一步增强模型的全局关系构建能力及局部信息聚焦能力。第二、完成模型的训练及测试。本文在哈工大讯飞联合实验室公开的代码参数基础上进行两种模型参数的训练,经反复实验调参,最终得到多组实验结果。为了验证模型能力是否得到提升,基于Dureader2.0数据集设计多组对比实验进行有效性验证,并设计消融实验来证明每一部分对模型整体能力提升的贡献比例。实验结果显示:本文提出的C-S Reader模型在测试集准确率较传统BIDAF模型提高14.5%,较BERT基线模型提高8.6%,有效提高了模型的语义提取能力。在该模型的基础上融入混合注意力机制后,经验证该模型较前者准确率提高3.5%,模型泛化能力得到进一步提升。第三、机器阅读理解模型部署应用。本文设计并实现了一个线上web中文机器阅读理解系统,该系统基于VUE和FLASK框架搭建了前后端分离的系统架构并采用融入混合注意力的BERT模型作为主要预测模型部署问答服务。提供了精致美观的可视化操作界面,主要功能包括机器阅读理解答案预测、数据分析、模型上传、用户权限管理、数据集列表展示等。系统性能测试结果表明:系统并发响应速度快、运行稳定。

基于深度学习的中文机器阅读理解方法研究与实现

这是一篇关于机器阅读理解,DuReader2.0,BERT,混合注意力机制的论文, 主要内容为机器阅读理解作为智能问答技术的全新方法,让机器解析用户输入的问题,理解用户意图,通过机器阅读理解模型从文章中快速、准确地检索并查找到细粒度的答案片段。它能为广大用户提供一种高效的答案检索方式,被广泛应用到百度搜索、自动问答机器人、智能客服机器人等场景,具有良好的发展前景和应用价值。随着机器阅读理解中/英文数据集种类增加、复杂度的扩大化以及硬件图形处理器算力的大幅提升,机器阅读理解系统逐渐由传统浅层语义分析向深度语义理解层面转变。现有大部分机器阅读理解模型存在以下问题:采用传统词向量无法高效捕获丰富的字词关系;利用双向循环神经网络或者卷积神经网络对文本进行编码的方法不能有效利用文本中的长距离依赖,并且当前深度学习模型并未考虑深层语义信息等语言学线索;问题和文章的语义信息没有进行充足的交互融合,模型无法从文章中精准定位答案。基于以上问题,本文使用Dureader2.0数据集,基于BERT模型从文本表示和特征融合等方面进行改进,构建了一种基于多个高层网络捕获高级语义特征信息和融合自注意力机制的中文机器阅读理解模型,并采用混合注意力机制进行模型性能提升,实现对文本和问题的多层注意力交互。最终模型的训练开销降低,且提升了预测问题答案的准确率。本文的主要研究工作如下:第一、提出两种新的机器阅读理解模型。为了改善传统词向量不能捕获丰富字词关系的现状,本文采用预训练模型BERT作为文本编码器进行初始编码,按照Transformer编码器原理模拟多个高层网络捕获高级语义特征信息,实现对文本和问题进行多层注意力交互。但C-S Reader模型在全局语义关系构建以及较长距离语义推理上仍有显著缺陷,本文又基于该模型融入混合注意力机制,加入Random Synthesizer和Dense Synthesizer两种注意力合成器,进一步增强模型的全局关系构建能力及局部信息聚焦能力。第二、完成模型的训练及测试。本文在哈工大讯飞联合实验室公开的代码参数基础上进行两种模型参数的训练,经反复实验调参,最终得到多组实验结果。为了验证模型能力是否得到提升,基于Dureader2.0数据集设计多组对比实验进行有效性验证,并设计消融实验来证明每一部分对模型整体能力提升的贡献比例。实验结果显示:本文提出的C-S Reader模型在测试集准确率较传统BIDAF模型提高14.5%,较BERT基线模型提高8.6%,有效提高了模型的语义提取能力。在该模型的基础上融入混合注意力机制后,经验证该模型较前者准确率提高3.5%,模型泛化能力得到进一步提升。第三、机器阅读理解模型部署应用。本文设计并实现了一个线上web中文机器阅读理解系统,该系统基于VUE和FLASK框架搭建了前后端分离的系统架构并采用融入混合注意力的BERT模型作为主要预测模型部署问答服务。提供了精致美观的可视化操作界面,主要功能包括机器阅读理解答案预测、数据分析、模型上传、用户权限管理、数据集列表展示等。系统性能测试结果表明:系统并发响应速度快、运行稳定。

基于改进U-Net网络的肝脏肿瘤分割算法研究

这是一篇关于肝脏分割,肿瘤分割,CT图像,混合注意力机制,分形残差结构的论文, 主要内容为肝脏肿瘤是一种危害性极大的肿瘤,随着生活水准的提高,它的发病率与危害率也逐年攀升。精准的肿瘤肝脏分割不仅需要医生精湛的技术,也需要耗费很多时间与精力,寻求一种省时且精准的分割方法势在必行。近些年来计算机辅助系统的迅速发展与应用,以及深度学习方法的日益先进,使得越来越多的人开始将该方法应用于医学图像分割领域。其中,能够融合低分辨率信息与高分辨率信息的U-Net网络完美契合了医学图像边界模糊、梯度复杂以及结构简单的特点,被广泛应用于肝脏肿瘤分割领域。本文针对经典U-Net模型进行了一系列改进以实现肝脏和肿瘤图像的精准分割,具体研究工作如下:(1)针对肝脏CT图像中肝脏分割和三维图像难以处理计算量太大的问题,本文提出了基于混合注意力机制、密集连接和全局平均池化的2D U-Net肝脏分割模型—HDU-Net(Hybrid-attention densely connected U-Net with GAP)模型,主要工作如下:1)提出了HDU-Net模型,该模型利用了空洞卷积与密集连接以实现信息复用,避免信息流失;同时引入全局平均池化块GAP来扩展感受野,提升对尺寸较小以及不连续的肝脏的分割精度;提出混合注意力模块,结合空间注意力与通道注意力,并置于跳跃连接以过滤和融合低分辨率信息。2)针对三维图像的特点对输入图像进行了详尽处理以节省计算资源,同时使用加权交叉熵函数和骰子损失函数相融合的加权损失函数作为HDU-Net网络的损失函数;3)在Li TS2017,sliver07和3Dircadb数据集上进行了一系列的实验,结果证实HDU-Net可以有效提升肝脏分割精度并保留一定的三维空间信息。(2)针对更加复杂的肿瘤分割问题以及HDU-Net存在的精度欠缺问题,本文提出了基于级联网络和全连接条件随机场的两步式肝脏肿瘤分割算法,工作如下:1)提出了一种基于改进的密集残差结构和分形残差结构的肝脏肿瘤分割模型FRA-UNet(A attention-ware U-Net with fractal residual block),该网络引入分形结构,密集连接与残差块以规范特征并避免信息流失;2)单个网络分割肝脏肿瘤的效果有限,故引入级联网络,该结构包含两个FRA-UNet分别对肝脏和肿瘤进行分割,并利用条件随机场CRF对肿瘤分割结果进行细化与处理,以得到肝脏肿瘤分割结果。3)为了探究分形结构和残差结构对分割结果的影响,本文针对这两个结构进行了一系列消融实验,结果证明,提出的网络能在减少参数量的前提下,能很好地利用二维网络对三维肝脏肿瘤CT图像进行分割,取得与三维网络分割模型相当甚至更好的分割效果,降低计算资源需求。

基于深度学习的中文机器阅读理解方法研究与实现

这是一篇关于机器阅读理解,DuReader2.0,BERT,混合注意力机制的论文, 主要内容为机器阅读理解作为智能问答技术的全新方法,让机器解析用户输入的问题,理解用户意图,通过机器阅读理解模型从文章中快速、准确地检索并查找到细粒度的答案片段。它能为广大用户提供一种高效的答案检索方式,被广泛应用到百度搜索、自动问答机器人、智能客服机器人等场景,具有良好的发展前景和应用价值。随着机器阅读理解中/英文数据集种类增加、复杂度的扩大化以及硬件图形处理器算力的大幅提升,机器阅读理解系统逐渐由传统浅层语义分析向深度语义理解层面转变。现有大部分机器阅读理解模型存在以下问题:采用传统词向量无法高效捕获丰富的字词关系;利用双向循环神经网络或者卷积神经网络对文本进行编码的方法不能有效利用文本中的长距离依赖,并且当前深度学习模型并未考虑深层语义信息等语言学线索;问题和文章的语义信息没有进行充足的交互融合,模型无法从文章中精准定位答案。基于以上问题,本文使用Dureader2.0数据集,基于BERT模型从文本表示和特征融合等方面进行改进,构建了一种基于多个高层网络捕获高级语义特征信息和融合自注意力机制的中文机器阅读理解模型,并采用混合注意力机制进行模型性能提升,实现对文本和问题的多层注意力交互。最终模型的训练开销降低,且提升了预测问题答案的准确率。本文的主要研究工作如下:第一、提出两种新的机器阅读理解模型。为了改善传统词向量不能捕获丰富字词关系的现状,本文采用预训练模型BERT作为文本编码器进行初始编码,按照Transformer编码器原理模拟多个高层网络捕获高级语义特征信息,实现对文本和问题进行多层注意力交互。但C-S Reader模型在全局语义关系构建以及较长距离语义推理上仍有显著缺陷,本文又基于该模型融入混合注意力机制,加入Random Synthesizer和Dense Synthesizer两种注意力合成器,进一步增强模型的全局关系构建能力及局部信息聚焦能力。第二、完成模型的训练及测试。本文在哈工大讯飞联合实验室公开的代码参数基础上进行两种模型参数的训练,经反复实验调参,最终得到多组实验结果。为了验证模型能力是否得到提升,基于Dureader2.0数据集设计多组对比实验进行有效性验证,并设计消融实验来证明每一部分对模型整体能力提升的贡献比例。实验结果显示:本文提出的C-S Reader模型在测试集准确率较传统BIDAF模型提高14.5%,较BERT基线模型提高8.6%,有效提高了模型的语义提取能力。在该模型的基础上融入混合注意力机制后,经验证该模型较前者准确率提高3.5%,模型泛化能力得到进一步提升。第三、机器阅读理解模型部署应用。本文设计并实现了一个线上web中文机器阅读理解系统,该系统基于VUE和FLASK框架搭建了前后端分离的系统架构并采用融入混合注意力的BERT模型作为主要预测模型部署问答服务。提供了精致美观的可视化操作界面,主要功能包括机器阅读理解答案预测、数据分析、模型上传、用户权限管理、数据集列表展示等。系统性能测试结果表明:系统并发响应速度快、运行稳定。

基于改进的U-Net模型的高分遥感影像冬小麦语义分割

这是一篇关于高分辨率遥感影像,U-Net,混合注意力机制,空洞空间金字塔池化的论文, 主要内容为准确获取冬小麦种植分布信息对农业管理和粮食安全具有重要意义,近些年来随着遥感卫星技术和深度学习的发展,利用卷积神经网络对农业遥感影像进行语义分割已成为当下的研究热点之一,但由于高分辨率农业遥感影像丰富的纹理特征、空间信息以及复杂的几何形状,使得农业影像在进行语义分割时容易出现特征表示能力差、空间信息利用不充分的问题,从而导致预测结果粗糙.针对上述问题,本文提出一种基于混合注意力机制CBAM(Convolutional Block Attention Module)和空洞空间金字塔池化ASPP的高分辨率遥感影像语义分割模型CBAM-ASPP-U-net.模型采用编解码结构、利用端到端的方式实现高分辨率农业遥感影像语义分割.主要有两个创新之处:(1)为了解决农业遥感影像语义分割面临的特征表示能力差的问题,CBAM-ASPPU-Net语义分割模型在U-Net网络结构的基础上加入混合注意力机制模块CBAM,着重关注特征密集的空间区域和对语义分割结果贡献度大的通道,通过从空间和通道两个维度优化特征图来达到提高特征表达能力的目的.(2)为了解决农业遥感影像语义分割面临的空间信息利用不充分的问题,CBAM-AS PP-U-Net语义分割模型在传统的编解码结构基础上,加入空洞空间金字塔池化模块ASPP,利用多级采样率的空洞卷积并行来拓宽网络的感受野,使网络获取的语义信息更加丰富,从而达到全局上下文语义信息编码的目的.为了验证本文提出CBAM-ASPP-U-Net语义分割模型的有效性,在开封杞县Sentinel-2A遥感影像数据集上进行冬小麦语义分割对比试验,实验结果证明了改进语义分割模型的有效性,具有更强大的特征表示能力,能够获取更加准确的冬小麦语义分割结果.

基于图神经网络的会话推荐方法研究

这是一篇关于门控图神经网络,混合注意力机制,长期兴趣,短期偏好,多维提取的论文, 主要内容为推荐系统利用用户和项目之间的交互信息进行推荐,广泛用于电子商务平台、各类媒体流网站等。会话型推荐系统作为推荐系统研究的一个重要分支,通过分析用户的历史行为信息,为用户生成个性化推荐。于购物网站上的匿名用户或者新用户而言,在其历史交互信息不可知的情况下,可根据用户的历史行为序列数据,建模用户的长期兴趣和短期偏好。通过挖掘用户的兴趣偏好,来预测用户下一项可能点击的物品。该文的主要工作包括:针对用户购物目的或用户兴趣偏好被错误挖掘,及用户兴趣偏好提取方式单一化的问题,本研究提出一种多头注意力与软注意力线性组合的混合注意力机制,进而提出基于多维兴趣提取的会话型推荐方法。提出的混合注意力机制能从多个维度提取用户的兴趣偏好,无需考虑会话图中物品之间的距离,可直接获取任意两个物品间的相似性,从而获得会话的多层级表示,减少无关行为对用户偏好的影响。针对因未充分考虑物品间相对重要性或会话序列中部分节点信息特征造成的推荐性能下降,本研究提出基于双门控图神经网络的推荐方法。现有的会话图中缺少原来会话序列的物品点击顺序,造成物品间存在的相对重要性无法被准确衡量。进一步地,会话图中的物品节点信息经过图神经网络的多次迭代更新,可能出现信息损失。该文提出的双门控图神经网络,能够捕捉物品之间的转换关系,并获取会话图中节点与其相邻节点的相关性,从而降低不相关邻居节点的噪声干扰,有效提高推荐性能。实验研究针对基于多维兴趣提取的会话型推荐方法和基于双门控图神经网络的推荐方法开展。利用实验验证了基于多维兴趣提取的会话型推荐方法的混合注意力,实验结果表明该方法能深度挖掘会话中包含的用户购物目的或用户兴趣偏好,可以多维提取用户的兴趣偏好,MDIE在Dgeca数据集的P@20值相较于现有基准模型提升了11.95%。在考虑物品间相对重要性及对序列中部分节点信息特征的情况下,利用实验验证了基于双门控图神经网络的推荐方法的推荐性能,实验结果表明DGG-GNN在Tmall数据集的P@20值相较于现有基准模型提升了6.57%。

基于改进U-Net网络的肝脏肿瘤分割算法研究

这是一篇关于肝脏分割,肿瘤分割,CT图像,混合注意力机制,分形残差结构的论文, 主要内容为肝脏肿瘤是一种危害性极大的肿瘤,随着生活水准的提高,它的发病率与危害率也逐年攀升。精准的肿瘤肝脏分割不仅需要医生精湛的技术,也需要耗费很多时间与精力,寻求一种省时且精准的分割方法势在必行。近些年来计算机辅助系统的迅速发展与应用,以及深度学习方法的日益先进,使得越来越多的人开始将该方法应用于医学图像分割领域。其中,能够融合低分辨率信息与高分辨率信息的U-Net网络完美契合了医学图像边界模糊、梯度复杂以及结构简单的特点,被广泛应用于肝脏肿瘤分割领域。本文针对经典U-Net模型进行了一系列改进以实现肝脏和肿瘤图像的精准分割,具体研究工作如下:(1)针对肝脏CT图像中肝脏分割和三维图像难以处理计算量太大的问题,本文提出了基于混合注意力机制、密集连接和全局平均池化的2D U-Net肝脏分割模型—HDU-Net(Hybrid-attention densely connected U-Net with GAP)模型,主要工作如下:1)提出了HDU-Net模型,该模型利用了空洞卷积与密集连接以实现信息复用,避免信息流失;同时引入全局平均池化块GAP来扩展感受野,提升对尺寸较小以及不连续的肝脏的分割精度;提出混合注意力模块,结合空间注意力与通道注意力,并置于跳跃连接以过滤和融合低分辨率信息。2)针对三维图像的特点对输入图像进行了详尽处理以节省计算资源,同时使用加权交叉熵函数和骰子损失函数相融合的加权损失函数作为HDU-Net网络的损失函数;3)在Li TS2017,sliver07和3Dircadb数据集上进行了一系列的实验,结果证实HDU-Net可以有效提升肝脏分割精度并保留一定的三维空间信息。(2)针对更加复杂的肿瘤分割问题以及HDU-Net存在的精度欠缺问题,本文提出了基于级联网络和全连接条件随机场的两步式肝脏肿瘤分割算法,工作如下:1)提出了一种基于改进的密集残差结构和分形残差结构的肝脏肿瘤分割模型FRA-UNet(A attention-ware U-Net with fractal residual block),该网络引入分形结构,密集连接与残差块以规范特征并避免信息流失;2)单个网络分割肝脏肿瘤的效果有限,故引入级联网络,该结构包含两个FRA-UNet分别对肝脏和肿瘤进行分割,并利用条件随机场CRF对肿瘤分割结果进行细化与处理,以得到肝脏肿瘤分割结果。3)为了探究分形结构和残差结构对分割结果的影响,本文针对这两个结构进行了一系列消融实验,结果证明,提出的网络能在减少参数量的前提下,能很好地利用二维网络对三维肝脏肿瘤CT图像进行分割,取得与三维网络分割模型相当甚至更好的分割效果,降低计算资源需求。

基于深度学习的中文机器阅读理解方法研究与实现

这是一篇关于机器阅读理解,DuReader2.0,BERT,混合注意力机制的论文, 主要内容为机器阅读理解作为智能问答技术的全新方法,让机器解析用户输入的问题,理解用户意图,通过机器阅读理解模型从文章中快速、准确地检索并查找到细粒度的答案片段。它能为广大用户提供一种高效的答案检索方式,被广泛应用到百度搜索、自动问答机器人、智能客服机器人等场景,具有良好的发展前景和应用价值。随着机器阅读理解中/英文数据集种类增加、复杂度的扩大化以及硬件图形处理器算力的大幅提升,机器阅读理解系统逐渐由传统浅层语义分析向深度语义理解层面转变。现有大部分机器阅读理解模型存在以下问题:采用传统词向量无法高效捕获丰富的字词关系;利用双向循环神经网络或者卷积神经网络对文本进行编码的方法不能有效利用文本中的长距离依赖,并且当前深度学习模型并未考虑深层语义信息等语言学线索;问题和文章的语义信息没有进行充足的交互融合,模型无法从文章中精准定位答案。基于以上问题,本文使用Dureader2.0数据集,基于BERT模型从文本表示和特征融合等方面进行改进,构建了一种基于多个高层网络捕获高级语义特征信息和融合自注意力机制的中文机器阅读理解模型,并采用混合注意力机制进行模型性能提升,实现对文本和问题的多层注意力交互。最终模型的训练开销降低,且提升了预测问题答案的准确率。本文的主要研究工作如下:第一、提出两种新的机器阅读理解模型。为了改善传统词向量不能捕获丰富字词关系的现状,本文采用预训练模型BERT作为文本编码器进行初始编码,按照Transformer编码器原理模拟多个高层网络捕获高级语义特征信息,实现对文本和问题进行多层注意力交互。但C-S Reader模型在全局语义关系构建以及较长距离语义推理上仍有显著缺陷,本文又基于该模型融入混合注意力机制,加入Random Synthesizer和Dense Synthesizer两种注意力合成器,进一步增强模型的全局关系构建能力及局部信息聚焦能力。第二、完成模型的训练及测试。本文在哈工大讯飞联合实验室公开的代码参数基础上进行两种模型参数的训练,经反复实验调参,最终得到多组实验结果。为了验证模型能力是否得到提升,基于Dureader2.0数据集设计多组对比实验进行有效性验证,并设计消融实验来证明每一部分对模型整体能力提升的贡献比例。实验结果显示:本文提出的C-S Reader模型在测试集准确率较传统BIDAF模型提高14.5%,较BERT基线模型提高8.6%,有效提高了模型的语义提取能力。在该模型的基础上融入混合注意力机制后,经验证该模型较前者准确率提高3.5%,模型泛化能力得到进一步提升。第三、机器阅读理解模型部署应用。本文设计并实现了一个线上web中文机器阅读理解系统,该系统基于VUE和FLASK框架搭建了前后端分离的系统架构并采用融入混合注意力的BERT模型作为主要预测模型部署问答服务。提供了精致美观的可视化操作界面,主要功能包括机器阅读理解答案预测、数据分析、模型上传、用户权限管理、数据集列表展示等。系统性能测试结果表明:系统并发响应速度快、运行稳定。