面向糖尿病数据的模糊高效用项集挖掘技术研究
这是一篇关于高效用项集,模糊集理论,模糊高效用挖掘,滑动窗口,数据流的论文, 主要内容为糖尿病是一种慢性代谢性疾病,其特征为血糖值持续高于正常范围。目前,数据挖掘技术可以应用于糖尿病管理的多个方面,如高危患者筛选、预测病情进展、并发症风险、优化治疗方案等。但大部分糖尿病数据挖掘技术忽略了尖锐点以及挖掘结果可解释性较差的问题。因此本文对糖尿病的数据挖掘技术方面进行研究与分析,提出了模糊高效用项集挖掘模型以及流式模糊高效用项集挖掘模型。本文主要工作内容如下所示:(1)提出了一种针对糖尿病场景下的模糊高效用项集挖掘模型。为了解决传统高效用项集挖掘算法中挖掘结果可解释性差的问题,引入了模糊集理论,使用隶属度函数。然后,对数据中的特征进行模糊化处理,并根据不同特征的重要性程度设置外部效用值。在挖掘过程中,同时使用树形结构和列表结构计算高估效用值。接着,该模糊高效用挖掘模型将一阶段算法和两阶段算法的特点相结合,以有效地筛选模糊高效用项集。通过实验表明该模型可以更好的反应数据本身的意义,增强可解释性和可理解性,同时在某些数据场景下,该模型时间和空间效率方面都优于绝大多数算法。(2)提出了一种适用于糖尿病场景下的流式模糊高效用项集挖掘模型。针对提出的模糊高效用项集挖掘模型无法适用数据流场景的问题,采用滑动窗口的思想,设计并实现了一种能够在数据流中挖掘模糊高效用项集的模型。该模型通过保持一个动态滑动窗口来避免对整个数据流进行处理,并使用过滤树来减少处理候选项集的时间。此外,还提出了全局模糊效用树结构FHUIL-Tree(Fuzzy High Utility Items List-Tree)以及全局模糊效用数据库FUDB(Fuzzy Utility Data Base),用于存储当前窗口中的数据。在窗口滑动时,可以动态地在树和数据库中删除过期数据并添加新数据。通过实验表明该模型能够在数据流中挖掘出高可解释性的模糊高效用项集,并且在某些数据场景下,该模型的时空复杂度低于绝大多数算法。(3)本文基于模糊高效用项集挖掘模型和流式模糊高效用项集挖掘模型,根据医院的实际需求,考虑到现有的硬件设备,工作流程以及数据库表设计等方面的因素,开发了一个面向糖尿病数据的模糊高效用项集挖掘原型系统。该系统部署在Open Stack云计算平台中,采用B/S架构,前后端分离,提高了系统的稳定性和可扩展性。它为医生提供了数据可视化、预警报警等功能,以确保能够实时了解本地糖尿病患者的健康状况。
基于Web挖掘的网页动态推荐系统研究
这是一篇关于Web挖掘,网页推荐系统,序列模式,命中率,滑动窗口的论文, 主要内容为使用Web挖掘技术提取用户访问模式具有重要的现实意义。在用户浏览网页时为用户提供预取服务,在电子商务中为用户推荐商品以及改善网站的组织结构等。然而,在信息爆炸的今天,从网站内容到用户浏览行为都时刻发生着变化。这对网页推荐系统的设计提出了新的要求。 推荐系统为了预测用户下一步可能访问的网页,需要向前参考浏览序列。而序列模式考虑了页面浏览序列,因此本文以序列模式相关理论为基础。在基于序列模式的用户浏览模式挖掘相关研究中,比较流行的有基于Markov模型和PLSA模型。本文分析发现这两种模型在适应网站内容和用户浏览行为迅速变化方面都存在不足。 本文首先介绍了该领域的国内外研究现状和Web数据挖掘的一般流程。在Web日志数据预处理方面,本文给出了一种过滤日志数据的方法。在网页聚类方面,先分析了现有的各种聚类方法,接着提出了在网站组织结构良好的情况下基于URL的聚类方法包括：基于URL间距离和基于路径树的方法。由于URL间距离的算法不适应动态增长的Web页面结构,本文主要采用的是基于路径树的方法。在序列模式挖掘阶段,本文分析了PLSA方法的不足并提出了RTA算法,此方法基于路径树。随后,本文给出了推荐系统的更新方法。接下来本文分析了用户在访问网站时的使用习惯,并据此给出了网页推荐系统的设计方案。 本文最后采用命中率来评价推荐系统,给出了推荐页面数、支持度以及滑动窗口长度与命中率之间的关系。并将实验结果与基于PLSA算法的实验进行了对比,结果表明在一定条件下,RTA算法优于PLSA算法。
基于上下文动态感知的序列推荐算法研究
这是一篇关于序列推荐,记忆网络,滑动窗口,动态上下文信息,动态上下文感知的论文, 主要内容为推荐系统在现代互联网平台中发挥了重要,它的出现在很大程度上解决了“信息过载”的问题,是一种非常有效的信息过滤的方法,可以根据用户的相关信息或者历史购买记录,去学习用户的兴趣偏好,从而为用户推荐需要的信息或物品。基于序列的推荐是推荐系统领域中的一个新兴话题,并且近年来引起了学术界和工业界的巨大关注。但当前模型仍存在以下问题:(1)传统的序列推荐算法忽略了物品邻居等信息会对用户的购买行为产生影响;(2)已有算法大多是利用最后点击的短期记忆来考虑用户的当前信息达到获取用户短期信息的目的,但最后一次点击并不能完全代表用户的短期兴趣且现存数据集的规模较大,一次性输入较多数据会存在内存爆炸等问题。本文针对(1)提出了一种新的基于序列推荐的算法。该算法通过相似度计算的方法计算出与用户最后一个物品特征最相似的物品,将其放入记忆网络中,作为物品的邻居信息。接着利用循环神经网络从用户购买物品的上下文信息中学习用户的历史兴趣。最后使用用户的历史兴趣与物品的邻居信息相集成的方法完成序列推荐。本文针对(2)提出了一种新的捕获用户短期偏好的方法。采用滑动窗口的方式来动态的捕获用户的短期兴趣偏好,每一个滑动窗口学习出来的特征作为用户的短期兴趣偏好,且在滑动窗口滑动的过程中,用户的短期偏好也是动态变化的。这种基于动态上下文的方法不仅能够避免一次性学习过多特征而造成的内存爆炸的问题,同时也能够更细粒度的获得用户的短期偏好,达到更好的推荐的目的。实验表明,与多个基准算法和目前前沿算法相比,本文提出的模型在数据集上的结果达到了较好的水平,从而验证了动态上下文推荐算法的有效性。
面向糖尿病数据的模糊高效用项集挖掘技术研究
这是一篇关于高效用项集,模糊集理论,模糊高效用挖掘,滑动窗口,数据流的论文, 主要内容为糖尿病是一种慢性代谢性疾病,其特征为血糖值持续高于正常范围。目前,数据挖掘技术可以应用于糖尿病管理的多个方面,如高危患者筛选、预测病情进展、并发症风险、优化治疗方案等。但大部分糖尿病数据挖掘技术忽略了尖锐点以及挖掘结果可解释性较差的问题。因此本文对糖尿病的数据挖掘技术方面进行研究与分析,提出了模糊高效用项集挖掘模型以及流式模糊高效用项集挖掘模型。本文主要工作内容如下所示:(1)提出了一种针对糖尿病场景下的模糊高效用项集挖掘模型。为了解决传统高效用项集挖掘算法中挖掘结果可解释性差的问题,引入了模糊集理论,使用隶属度函数。然后,对数据中的特征进行模糊化处理,并根据不同特征的重要性程度设置外部效用值。在挖掘过程中,同时使用树形结构和列表结构计算高估效用值。接着,该模糊高效用挖掘模型将一阶段算法和两阶段算法的特点相结合,以有效地筛选模糊高效用项集。通过实验表明该模型可以更好的反应数据本身的意义,增强可解释性和可理解性,同时在某些数据场景下,该模型时间和空间效率方面都优于绝大多数算法。(2)提出了一种适用于糖尿病场景下的流式模糊高效用项集挖掘模型。针对提出的模糊高效用项集挖掘模型无法适用数据流场景的问题,采用滑动窗口的思想,设计并实现了一种能够在数据流中挖掘模糊高效用项集的模型。该模型通过保持一个动态滑动窗口来避免对整个数据流进行处理,并使用过滤树来减少处理候选项集的时间。此外,还提出了全局模糊效用树结构FHUIL-Tree(Fuzzy High Utility Items List-Tree)以及全局模糊效用数据库FUDB(Fuzzy Utility Data Base),用于存储当前窗口中的数据。在窗口滑动时,可以动态地在树和数据库中删除过期数据并添加新数据。通过实验表明该模型能够在数据流中挖掘出高可解释性的模糊高效用项集,并且在某些数据场景下,该模型的时空复杂度低于绝大多数算法。(3)本文基于模糊高效用项集挖掘模型和流式模糊高效用项集挖掘模型,根据医院的实际需求,考虑到现有的硬件设备,工作流程以及数据库表设计等方面的因素,开发了一个面向糖尿病数据的模糊高效用项集挖掘原型系统。该系统部署在Open Stack云计算平台中,采用B/S架构,前后端分离,提高了系统的稳定性和可扩展性。它为医生提供了数据可视化、预警报警等功能,以确保能够实时了解本地糖尿病患者的健康状况。
面向煤矿事故领域的关系抽取研究
这是一篇关于关系抽取,滑动窗口,预训练语言模型,煤矿领域,长文本的论文, 主要内容为煤矿产业在我国经济发展中起到了中流砥柱的作用,对煤炭作为主业的能源企业来说,安全是生产之根、发展之本,安全的建设更是一项长期的、复杂的、多因素的、系统的工程。如何有效的控制风险、治理隐患,预防煤矿产业伤亡事故发生,找出其中存在的影响因素是关键点。以往的煤矿事故发生后会出现许多关于事故方面的存档信息,在这些信息中包含着许多有用的知识可以为以后的煤矿生产安全方面提供巨大帮助,但是这些未处理的经验案例杂乱无章,根本无法直接应用于未来的风险管理作业。虽然目前在煤矿事故分析领域已经有一些技术对煤矿安全工作进行研究,但是这些技术普遍都存在效率低下,落地效果不足等问题。面对领域数据增长的今天,利用人工智能方法将其应用到煤矿事故风险分析和预测变得越来越亟需。近年来随着“互联网+煤矿”的发展,利用知识图谱技术对煤矿事故进行有效分析是发展的趋势。对煤矿事故领域进行信息抽取是必不可少的步骤,而其中关系抽取技术是煤矿领域信息抽取中至关重要的技术之一。因此本文对煤矿事故领域实体关系抽取技术进行研究,重点研究采用基于注意力机制和预训练语言模型的方式从煤矿事故案例中获得煤矿事故本体的概念和概念间关系。主要研究内容和创新点如下:(1)首先针对目前关系抽取语义提取不够充分,未能同时综合考虑局部层面和全局层面因素的问题,提出了滑动窗口模型。模型由输入表征层、句子表征层、滑动窗口层、局部信息聚集层和分类层组成。其中句子表征层采用Sentence-BERT(SBERT)模型对句子进行充分的全局信息的提取,而滑动窗口层作为核心层,借鉴了CNN滑动窗口思想,采用滑动窗口机制序列化的捕捉任意部位的局部特征信息,充分的学习到句子的局部语言信息。因此本模型可以有效的提取到句子的全局信息和局部信息,解决了句子语义学习不充分的问题,大大提高了关系抽取任务的准确率。(2)其次为了支撑后期的煤矿领域关系抽取的研究工作,且目前煤矿事故领域尚未有现成的关系标注语料,构建了煤矿事故领域关系抽取语料集。本文对煤矿安全网、国家煤矿安全监察局、煤矿生产安全网、百度百科等网站发布的煤矿事故案例进行爬虫获取到原始煤矿事故文本,进行了删除无用信息等一系列预处理工作得到较为规范的煤矿事故案例数据集,进行分词分句实体标注,辅助同门完成了煤矿事故文本领域命名实体工作,在此基础上进行了煤矿事故文本领域的关系标注,构建了煤矿事故领域的关系标注语料集CMD(Coal Mine Dataset)。(3)最后针对煤矿事故领域关系标注语料集的长文本特性且目前的关系网络模型不适合进行长文本关系抽取等问题,设计了一种基于ALBERT预训练语言模型的长文本关系抽取方法ALBDRE(ALBERT-based Doc-level Relation Extract),其利用实体掩码机制显式地融合实体标签信息,为模型提高深层次的语义信息;且采用预训练语言模型ALBERT完成本模型的编码任务,增强了长文本语义特征的提取,从而实现了长篇章文本情况下的关系抽取。通过实验验证,对ALBDRE模型的可行性和有效性进行了验证,结果表明,本模型具有较好的关系抽取性能。
Android应用第三方库检测系统的研究与实现
这是一篇关于第三方库,重命名混淆,核心逻辑类,Dalvik指令集特征,滑动窗口的论文, 主要内容为Android应用第三方库在提供支撑应用、提供解决方案的同时,也常含有隐蔽的漏洞,为开发者和使用者带来安全隐患。现有的基于白名单与聚类的研究都存在着无法识别使用量较少的第三方库的问题,且无法有效对抗标识符类混淆,为此本文提出了基于核心逻辑类的检测方案,包含基于PageRank的核心逻辑类提取算法与基于滑动窗口的多轮匹配算法两部分,设计了能够大幅缩减特征量的精确匹配的检测框架,实现了基于核心逻辑类的第三方库检测系统,主要研究成果如下:一、针对第三方库重命名混淆的检测存在检测效率较低的问题,提出了基于核心逻辑类的检测方案,加强检测的效率。基于PageRank的核心逻辑类提取算法是指将整个库的分析转化为对库中单个特定类的分析,以此来提升检测速度。其首先按照Android程序结构提取出所有第三方库列表,并挑选出其中的重命名混淆库;之后应用核心逻辑类提取算法提取出混淆库中的核心逻辑类,总结核心逻辑类中的Dalvik指令集特征。二、针对第三方库重命名混淆的检测存在准确率较低的问题,提出了基于滑动窗口的多轮匹配算法,提高检测的准确率。该匹配方法指运用滑动窗口思想,通过逐轮的比较,实现精准匹配。其通过将重命名混淆库的指令集特征与可识别库的指令集特征进行逐轮比较,在行与行比较时运用滑动窗口,最后找到匹配度最高的己知库,还原出混淆库的本来名称。通过采用不同数量的混淆样本进行实验,发现本文提出方案的检测准确率稳定在90%,检测单个第三方库的平均时间在1.3s-1.5s,具有较高的准确率和检测效率。三、从第三方库更新速率加快以及第三方库市场冗杂等实际问题出发,考虑到市场需求,设计了一套第三方库检测系统,包括用户交互模块、任务调度模块、第三方库搜集模块、第三方库检测模块、持久化存储模块五个部分。系统采用专业级别的Vue和Spring框架来分别搭建前后端框架,并设计了 Redis消息队列进行任务调度,使得整个系统有机统一。同时基于此设计,实现了基于核心逻辑类的第三方库检测系统。系统通过网页的方式为用户提供服务,可以使用系统实现快速而准确的第三方库检测。系统使用了 Quartz集群和Redis数据库进行任务调度,通过系统为用户提供第三方库检测功能,并通过多种数据和多个角度展示检测信息与检测结果。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设驿站 ，原文地址：https://m.bishedaima.com/lunwen/49599.html
