面向社会安全事件的公众情感倾向分析研究

这是一篇关于社会安全事件,微博,事件侦测,情感分析,趋势预测的论文, 主要内容为以微博为代表的社交媒体已经发展成为一种新的传播媒介,为人们带来了信息获取、发布和传递的便利与自由,彻底改变了人们的信息传播格局和生活模式。但是,社交媒体低成本、用户广、传播快的特点也为社会安全事件的传播和扩散带来了便利,大大增加了其危害性和破坏程度,使其成为国外敌对势力和国内不法分子散布谣言、发布网络攻击的重要阵地,以达到颠覆国家政权、破坏民族团结、阻碍社会稳定、损害人民利益的目的。因此,开展网络社交媒体中社会安全事件的侦测,并对公众的情感倾向和趋势进行分析和预测不仅具有重要的理论价值,而且对于维护国家安全、保持社会稳定具有十分重要的现实意义。本文以新浪微博为研究对象,对微博中社会安全事件的侦测、公众的情感倾向性和公众情感趋势分析与预测进行了研究,研究工作覆盖了微博中社会安全事件网络舆情的发现、理解、分析和预测,形成了一整套社交媒体中社会安全事件的分析方法和相关理论。主要研究工作和成果如下:(1)微博基础资源库建设方法的研究提出了一种微博数据爬取方法和微博文本预处理策略,并构建了微博文本预处理用户词典。通过对微博数据爬取技术的研究,构建了基于网络爬虫和新浪API相结合的微博数据爬取策略,针对微博文本的特点,制定了相应的微博文本预处理方案,并构建了大量的用户词典,包括66万多的常用词词典、4万多的专用名词词典和将近8百多的专用名词后缀词典等,完成了微博基础资源库的建设。(2)词语语义相关度计算方法的研究提出了一种基于语义关系图的词语语义相关度计算模型。通过对How Net语义知识库中语义关系的提取和大规模语料库中词语语义搭配关系的抽取,构建了词语语义关系图,在词语语义关系图的基础上,采用图论的相关算法和理论,构建了基于语义关系图的词语语义相关度计算模型。实验表明,该模型对词语语义相关度的计算性能较好,并且可以通过添加领域语料以达到词语语义相关度计算领域适应性的目的。(3)微博中社会安全事件侦测方法的研究提出了一套微博中社会安全事件特征词表示体系和社会安全事件侦测模型。从社会安全事件的突发性和主题性出发,从能够表征事件的基本要素、能够表征事件的信息主题、与事件话题标签相关、能够体现突发性和能够很好过滤广告性五个方面,构建了社会安全事件特征词表示体系,结合词语语义相关度计算模型,构建了基于凝聚式层次聚类和增量聚类的社会安全事件侦测模型。实验表明,该模型提取的特征词具有较强的代表性,并且其社会安全事件的侦测性能较好。(4)微博文本的情感分析方法和公众情感倾向性分析方法的研究提出了一种基于双重注意力机制的微博文本情感分析模型和公众情感倾向性分析模型。针对微博文本情感表达的特点,构建了包括六类情感符号的微博情感词典,在此基础上,采用注意力机制对微博文本的LSTM建模结果和微博文本中包含的情感符号分别建模,构建了基于双重注意力机制的微博文本情感分析模型,并采用情感倾向的倾向程度作为衡量指标,构建了公众对特定社会安全事件的情感倾向分析模型。实验表明,本文的情感分析模型较现有的最好模型有一定的性能提升。(5)公众情感趋势分析与预测方法的研究提出了一套情感趋势分析指标和情感趋势分析及预测模型。针对情感趋势分析与预测的需求,构建了包括特定情感倾向微博数目和特定情感倾向微博比重两类共计6个情感趋势分析指标,采用多项式拟合的分析方法,构建了情感趋势分析模型,并通过融合多粒度时间片下情感趋势拟合回归函数的斜率变化情况,构建了情感趋势预测模型。通过相关的实际案例分析,表明本文的模型具有较好的性能。最后,基于SSM架构和Bootstrap框架以及Echarts组件实现了一个微博中社会安全事件公众情感分析系统。系统由微博数据的采集与预处理、社会安全事件的侦测、公众情感倾向性分析和公众情感趋势分析和预测四个模块构成,可以对社会安全事件的侦测、微博文本的情感分析以及公众情感倾向及情感趋势分析与预测的相关模型与算法进行实验。

基于深度学习的二化螟发生趋势概率预测

这是一篇关于二化螟,地面气象观测数据,相关害虫,趋势预测,DeepAR的论文, 主要内容为二化螟是对水稻危害最大的害虫之一,及时、准确地预测二化螟发生趋势可指导植物保护人员提前规划防治措施,例如在预知害虫发生趋势情形下,合理使用农药保证水稻的产量和品质,可显著减少害虫对水稻生长的影响,提高农田生态系统的稳定性。目前对水稻二化螟的预测大多基于传统的统计分析方法和机器学习方法,在多维大样本、纵向数据的建模时效性方面不占优势,在实际生产中不利于指导水稻二化螟高效、精准的防治。本研究综合选取气象变量、相关害虫变量和时间变量,基于深度学习模型DeepAR对水稻二化螟发生趋势实施精准预测。本研究主要工作和成果包括以下几个方面:一、选取洪江市、东安县、醴陵市、临澧县和沅江市五个县的水稻种植区域为研究区域。害虫数据来自湖南省重大农作物病虫害监测预警信息系统-水稻病虫害日记录表(共18723个表格),洪江、沅江、东安和临澧的起止年份为2000-2020年,醴陵的起止年份为2010-2020年,每年的三月中旬到十月上旬为记录时间,以日为单位,由植保工作人员使用灯诱仪器引诱水稻害虫,统计害虫数量,并记录点灯时的天气状况。害虫种类包括二化螟、稻纵卷叶螟等13种水稻害虫。气象数据来自国家气象科学数据中心下载的地面日值气象资料,起止时间为2000年1月1日-2020年10月30日,包括气温、降水量等19种因素;害虫数据和气象数据的缺失值使用相邻位置数据的平均值插补,异常值使用指数加权滑动平均法平滑。提取害虫数据的时间特征如年份、季节等构建害虫时间数据,最后将害虫数据、气象数据和时间数据按照对应时间轴匹配,构建水稻害虫-气象-时间数据集。二、首先,统计研究区域害虫种类数量,如洪江2000-2020年稻飞虱的种群数量为2415802头,危害程度远高于其它害虫,得到研究区域主要害虫为稻飞虱、二化螟和稻纵卷叶螟。分析三种主要害虫长期(2000-2020年)和短期(2020年)的相关性,发现2020年二化螟与稻飞虱、二化螟与稻纵卷叶螟、稻飞虱与稻纵卷叶螟的最大相关系数分别为0.62、0.57和0.80,表明不同种类害虫间具有较强相关性。其次,分析研究区域二化螟长期(2000-2020年)和短期(2020年)的发生量与发生趋势,发现长期周期为3-7年,短期周期为6-8周。再次,分析二化螟近期(2017-2020年)在不同时间尺度(年份、季节和月份)下的发生量和发生趋势,发现二者呈正相关,即发生量越多发生趋势越快;同时发现二化螟在东安和洪江于春末(4月、5月)爆发,在醴陵和沅江于秋季初(9月)爆发,在临澧于夏季末秋季初(8月)爆发。最后,对研究区域二化螟发生量与气象变量进行相关性分析,包括Pearson相关系数(R)分析和最大互信息系数(MIC)分析,其中沅江二化螟与最低气温的R=0.266,MIC=0.661,与最高大气压强的R=-0.258,MIC=0.627,即二化螟与气温正相关,与大气压强负相关,分析2000-2020年二化螟发生趋势与气象变量的关系,进一步表明二化螟与主要气象变量(温度、大气压强)具有一定的相关性;三、构建水稻二化螟发生趋势的Single-DeepAR概率预测模型。基于深度学习的时间序列预测模型DeepAR,仅使用二化螟发生量作为内生变量,不加入外部变量如气象变量、相关害虫变量和时间变量,构建Single-DeepAR概率预测模型,实现对水稻二化螟单年份多世代的动态预测。根据一个合理验证的数据集,醴陵、洪江、东安、沅江和临澧的平均规模区间评分(Mean Scaled Interval Score,MSIS)分别为62.111、5.110、14.991、14.621和52.030均优于参比模型ARIMA、Wave Net和Transformer,其它评估指标也大多优于参比模型,综合来看Single-DeepAR模型对于水稻二化螟动态预测效果最好。四、构建水稻二化螟发生趋势的Multidimensional-DeepAR概率预测模型。基于深度学习的时间序列预测模型DeepAR,分别使用Pearson相关系数分析、MIC分析和Light GBM变量重要性分析对害虫变量、气象变量和时间变量进行变量筛选,以筛选变量作为外部变量、二化螟发生量为内生变量构建多维Multidimensional-DeepAR概率预测模型,实现对水稻二化螟单年份多世代的动态预测。根据一个合理的验证集,获得使用三种变量筛选方法(Pearson相关系数分析、MIC值分析、Light GBM变量重要性分析)和不使用变量筛选的Multidimensional-DeepAR模型的性能比较,结果表明使用Light GBM变量重要性分析进行变量筛选效果最好。五、本文获取了湖南省多个区县历年水稻害虫数据,对获取到的水稻害虫数据进行描述统计分析,挖掘不同种类害虫的相关性,发现稻飞虱、稻纵卷叶螟和二化螟是湖南省水稻主要害虫,且主要害虫间存在关联性。进一步又对二化螟数据与气象数据进行描述统计分析,挖掘对二化螟发生最有影响的气象变量,发现对二化螟发生关联性最大的气象变量为温度和大气压强。最后构建了基于深度学习模型DeepAR的Single-DeepAR概率预测模型和Multidimensional-DeepAR概率预测模型。SingleDeepAR概率预测模型直接使用二化螟的历史数据进行预测,对数据的需求量不多,且效果很不错,但此模型无法描述二化螟与相关害虫和气象因子之间的关系,无法将其移植到没有记录二化螟历史数据的区域进行应用。Multidimensional-DeepAR模型在Single-DeepAR的基础上,使用二化螟相关害虫变量、气象变量和时间变量作为协变量,该模型的实际应用价值更高,更具有普适性,且更能反映害虫动态变化过程,可以移植到很少或没有二化螟历史数据的区域进行预测,但该模型的结构较为复杂,且比较依赖合理的变量筛选方法,因此本文又比较了三种变量筛选方法,发现使用Light GBM变量重要性分析筛选变量对Multidimensional-DeepAR性能提升最好。对所有研究区域,基于Light GBM变量重要性分析的Multidimensional-DeepAR概率预测模型效果均最优,所以Multidimensional-DeepAR模型的空间扩展能力良好,更具有普适性,可将Multidimensional-DeepAR模型应用于其它区域及其它害虫种类上。

抽水蓄能机组振动信号降噪与趋势预测方法研究

这是一篇关于抽水蓄能机组,信号降噪,趋势预测,信号分解,混合神经网络的论文, 主要内容为抽水蓄能机组作为抽水蓄能电站能效转换的核心设备,发挥着维护电网稳定运行的重要作用。抽水蓄能机组负荷变化频繁、多种运行工况相互交替,易加剧机组振动,增加了振动事故发生的风险,甚至导致水淹厂房等严重后果,因此亟需对抽水蓄能机组开展振动状态在线监测及趋势预测研究。本文以抽水蓄能机组运行过程中的振动信号为研究对象,重点围绕抽水蓄能机组振动信号降噪、非线性趋势预测等科学问题展开研究,以变分模态分解、BA算法、小波分析和神经网络等为理论依据,分析了现有方法在理论或应用上存在的缺陷与不足,并做出相应改进,同时将研究成果应用于工程实际中,设计并开发了一种B/S架构的抽水蓄能机组振动实时监测与趋势预测系统,为抽水蓄能机组状态检修策略的完善提供了新思路,具有一定的理论和工程意义。论文主要研究内容和成果如下:(1)为了解决振动状态监测中数据存储效率低的问题,设计了一种面向抽水蓄能机组振动状态监测的分布式时效数据库。采用内存型数据库Redis与关系型数据库My SQL结合的方式,对实时数据进行快速读写并缓存,对历史数据进行长期稳定保存,从而实现了高效的数据存储,为后续机组振动信号降噪研究、趋势预测分析提供了稳定、可靠的抽水蓄能振动数据源。(2)为了能在强噪声背景下精确提取出表征抽水蓄能机组实际运行状态的振动信号,提出了一种BA-VMD与小波阈值结合的降噪方法。首先,选用BA算法对VMD分解中的参数K和α进行全局优化,自适应搜寻获得最优的[K,α]组合;然后利用优化VMD方法将原始振动信号分解成一系列IMFs分量;其次利用自相关能量函数准则筛选出噪声主导的高频IMF分量,并对其进行小波阈值降噪处理;最后将未经小波阈值降噪处理的低频IMF分量和经过小波阈值降噪处理的高频IMF分量进行重构,进而得到降噪后的振动信号。将所提方法应用于机组仿真振动信号的降噪实验中,并与单一VMD降噪和单一小波阈值降噪方法进行对比,实验结果表明所提方法具有良好的降噪效果。(3)针对传统方法难以对抽水蓄能机组非线性振动量进行趋势预测的问题,将VMD信号处理方法与神经网络预测方法相结合,提出了一种基于VMD与CNN-GRU相结合的混合状态趋势预测模型。首先利用VMD将原始非平稳信号分解为较平稳的模态分量,然后用CNN-GRU混合神经网络模型对各分量进行训练,在提高预测精度的同时降低了复杂度。将所提混合模型成功应用于某机组振动状态趋势预测,并与CNN-RNN模型、单一CNN模型和单一GRU模型进行消融实验,验证了所提混合模型的有效性,为抽水蓄能机组振动趋势预测方法研究拓展了新思路。(4)基于上述研究成果,研究B/S网络架构特点和前后端分离技术,设计并开发了具有实时振动数据监测、趋势预测等业务的高级应用软件系统,验证了本文提出的抽水蓄能电站振动信号降噪、趋势预测方法的有效性,部分理论成果已集成至国内大型抽水蓄能电站机组振动状态监测与故障诊断系统,有效提高了电站的运维水平,有力推动了新能源背景下抽水蓄能电站智能化发展。

抽水蓄能机组振动信号降噪与趋势预测方法研究

这是一篇关于抽水蓄能机组,信号降噪,趋势预测,信号分解,混合神经网络的论文, 主要内容为抽水蓄能机组作为抽水蓄能电站能效转换的核心设备,发挥着维护电网稳定运行的重要作用。抽水蓄能机组负荷变化频繁、多种运行工况相互交替,易加剧机组振动,增加了振动事故发生的风险,甚至导致水淹厂房等严重后果,因此亟需对抽水蓄能机组开展振动状态在线监测及趋势预测研究。本文以抽水蓄能机组运行过程中的振动信号为研究对象,重点围绕抽水蓄能机组振动信号降噪、非线性趋势预测等科学问题展开研究,以变分模态分解、BA算法、小波分析和神经网络等为理论依据,分析了现有方法在理论或应用上存在的缺陷与不足,并做出相应改进,同时将研究成果应用于工程实际中,设计并开发了一种B/S架构的抽水蓄能机组振动实时监测与趋势预测系统,为抽水蓄能机组状态检修策略的完善提供了新思路,具有一定的理论和工程意义。论文主要研究内容和成果如下:(1)为了解决振动状态监测中数据存储效率低的问题,设计了一种面向抽水蓄能机组振动状态监测的分布式时效数据库。采用内存型数据库Redis与关系型数据库My SQL结合的方式,对实时数据进行快速读写并缓存,对历史数据进行长期稳定保存,从而实现了高效的数据存储,为后续机组振动信号降噪研究、趋势预测分析提供了稳定、可靠的抽水蓄能振动数据源。(2)为了能在强噪声背景下精确提取出表征抽水蓄能机组实际运行状态的振动信号,提出了一种BA-VMD与小波阈值结合的降噪方法。首先,选用BA算法对VMD分解中的参数K和α进行全局优化,自适应搜寻获得最优的[K,α]组合;然后利用优化VMD方法将原始振动信号分解成一系列IMFs分量;其次利用自相关能量函数准则筛选出噪声主导的高频IMF分量,并对其进行小波阈值降噪处理;最后将未经小波阈值降噪处理的低频IMF分量和经过小波阈值降噪处理的高频IMF分量进行重构,进而得到降噪后的振动信号。将所提方法应用于机组仿真振动信号的降噪实验中,并与单一VMD降噪和单一小波阈值降噪方法进行对比,实验结果表明所提方法具有良好的降噪效果。(3)针对传统方法难以对抽水蓄能机组非线性振动量进行趋势预测的问题,将VMD信号处理方法与神经网络预测方法相结合,提出了一种基于VMD与CNN-GRU相结合的混合状态趋势预测模型。首先利用VMD将原始非平稳信号分解为较平稳的模态分量,然后用CNN-GRU混合神经网络模型对各分量进行训练,在提高预测精度的同时降低了复杂度。将所提混合模型成功应用于某机组振动状态趋势预测,并与CNN-RNN模型、单一CNN模型和单一GRU模型进行消融实验,验证了所提混合模型的有效性,为抽水蓄能机组振动趋势预测方法研究拓展了新思路。(4)基于上述研究成果,研究B/S网络架构特点和前后端分离技术,设计并开发了具有实时振动数据监测、趋势预测等业务的高级应用软件系统,验证了本文提出的抽水蓄能电站振动信号降噪、趋势预测方法的有效性,部分理论成果已集成至国内大型抽水蓄能电站机组振动状态监测与故障诊断系统,有效提高了电站的运维水平,有力推动了新能源背景下抽水蓄能电站智能化发展。

基于新浪微博舆情采集与倾向性分析系统

这是一篇关于网络舆情,新浪微博,倾向性分析,趋势预测,Spring的论文, 主要内容为随着互联网的飞速发展,互联网的普及率越来越高,人们越来越愿意通过网络表达自己对一些社会热点、突发事件的个人观点。如今的网络舆情颠覆了传统的模式,开始以一种势不可挡的趋势进入到社会层面,对社会造成十分深远的影响。微博集结了互动功能强大、实时性突出、便捷的手机支持以及名人效应等诸多优点,已经逐步取代博客、贴吧等其他老牌的舆情传播平台,对网络舆情的发展起到了推波助澜的作用,它也成为现如今最重要的网络舆情传播平台。微博的关注功能可以将用户们关联到一起,使得信息的传播速度得到历史性的变革,这也使得利用微博信息进行研究从而掌握舆论发展方向成为可能,更可以为政府、企业提供科学的分析结果,提高它们的决策能力,具有极高的社会价值和商业价值。本系统主要分为舆情采集模块、舆情信息预处理模块、舆情信息分析模块、舆情信息服务模块和系统管理模块等五大模块。选择新浪微博作为舆情分析系统的数据来源,利用Java的定时任务对新浪微博的内容进行定时抓取,将获得的页面内容按照新浪微博页面的结构特点进行分解,存入数据库,再利用文本聚类、向量化等分类手段进行分析,最后通过倾向性分析给出结果,并在舆情分析的基础上以图表的形式将舆情在一段时间的走势呈现给用户。在软件层面上,本系统选择SpringMVC、Spring、Hibernate等开源技术作为整体架构,降低各模块之间的耦合程度,提高程序的可扩展性。在采集和页面解析模块中还分别使用到MySQL、HtmlParser、ICTCLAS中文分词系统等开源技术。在系统开发过程中,我们对系统进行了单元测试、功能性测试、性能测试以及安全测试。在测试过程中我们选择“捉妖记”作为关键词进行数据采集,最终获得2015年7月9日至2015年7月21日之间“捉妖记”相关微博432361条,通过对这些数据的去重、去噪、语义分析、文本聚类、词性分类等一系列操作,最终获得了13天当中关于“捉妖记”话题的舆情走势,以电影上映日期7月16日作为分水岭,上映之前“捉妖记”相关的正面微博占比在45%上下浮动,上映之后正面的微博占比提高到了90%以上。在实际应用中,片方可以根据舆情在不同时期的特点,采取不同的宣传策略,以获得利益的最大化。

基于深度学习的二化螟发生趋势概率预测

这是一篇关于二化螟,地面气象观测数据,相关害虫,趋势预测,DeepAR的论文, 主要内容为二化螟是对水稻危害最大的害虫之一,及时、准确地预测二化螟发生趋势可指导植物保护人员提前规划防治措施,例如在预知害虫发生趋势情形下,合理使用农药保证水稻的产量和品质,可显著减少害虫对水稻生长的影响,提高农田生态系统的稳定性。目前对水稻二化螟的预测大多基于传统的统计分析方法和机器学习方法,在多维大样本、纵向数据的建模时效性方面不占优势,在实际生产中不利于指导水稻二化螟高效、精准的防治。本研究综合选取气象变量、相关害虫变量和时间变量,基于深度学习模型DeepAR对水稻二化螟发生趋势实施精准预测。本研究主要工作和成果包括以下几个方面:一、选取洪江市、东安县、醴陵市、临澧县和沅江市五个县的水稻种植区域为研究区域。害虫数据来自湖南省重大农作物病虫害监测预警信息系统-水稻病虫害日记录表(共18723个表格),洪江、沅江、东安和临澧的起止年份为2000-2020年,醴陵的起止年份为2010-2020年,每年的三月中旬到十月上旬为记录时间,以日为单位,由植保工作人员使用灯诱仪器引诱水稻害虫,统计害虫数量,并记录点灯时的天气状况。害虫种类包括二化螟、稻纵卷叶螟等13种水稻害虫。气象数据来自国家气象科学数据中心下载的地面日值气象资料,起止时间为2000年1月1日-2020年10月30日,包括气温、降水量等19种因素;害虫数据和气象数据的缺失值使用相邻位置数据的平均值插补,异常值使用指数加权滑动平均法平滑。提取害虫数据的时间特征如年份、季节等构建害虫时间数据,最后将害虫数据、气象数据和时间数据按照对应时间轴匹配,构建水稻害虫-气象-时间数据集。二、首先,统计研究区域害虫种类数量,如洪江2000-2020年稻飞虱的种群数量为2415802头,危害程度远高于其它害虫,得到研究区域主要害虫为稻飞虱、二化螟和稻纵卷叶螟。分析三种主要害虫长期(2000-2020年)和短期(2020年)的相关性,发现2020年二化螟与稻飞虱、二化螟与稻纵卷叶螟、稻飞虱与稻纵卷叶螟的最大相关系数分别为0.62、0.57和0.80,表明不同种类害虫间具有较强相关性。其次,分析研究区域二化螟长期(2000-2020年)和短期(2020年)的发生量与发生趋势,发现长期周期为3-7年,短期周期为6-8周。再次,分析二化螟近期(2017-2020年)在不同时间尺度(年份、季节和月份)下的发生量和发生趋势,发现二者呈正相关,即发生量越多发生趋势越快;同时发现二化螟在东安和洪江于春末(4月、5月)爆发,在醴陵和沅江于秋季初(9月)爆发,在临澧于夏季末秋季初(8月)爆发。最后,对研究区域二化螟发生量与气象变量进行相关性分析,包括Pearson相关系数(R)分析和最大互信息系数(MIC)分析,其中沅江二化螟与最低气温的R=0.266,MIC=0.661,与最高大气压强的R=-0.258,MIC=0.627,即二化螟与气温正相关,与大气压强负相关,分析2000-2020年二化螟发生趋势与气象变量的关系,进一步表明二化螟与主要气象变量(温度、大气压强)具有一定的相关性;三、构建水稻二化螟发生趋势的Single-DeepAR概率预测模型。基于深度学习的时间序列预测模型DeepAR,仅使用二化螟发生量作为内生变量,不加入外部变量如气象变量、相关害虫变量和时间变量,构建Single-DeepAR概率预测模型,实现对水稻二化螟单年份多世代的动态预测。根据一个合理验证的数据集,醴陵、洪江、东安、沅江和临澧的平均规模区间评分(Mean Scaled Interval Score,MSIS)分别为62.111、5.110、14.991、14.621和52.030均优于参比模型ARIMA、Wave Net和Transformer,其它评估指标也大多优于参比模型,综合来看Single-DeepAR模型对于水稻二化螟动态预测效果最好。四、构建水稻二化螟发生趋势的Multidimensional-DeepAR概率预测模型。基于深度学习的时间序列预测模型DeepAR,分别使用Pearson相关系数分析、MIC分析和Light GBM变量重要性分析对害虫变量、气象变量和时间变量进行变量筛选,以筛选变量作为外部变量、二化螟发生量为内生变量构建多维Multidimensional-DeepAR概率预测模型,实现对水稻二化螟单年份多世代的动态预测。根据一个合理的验证集,获得使用三种变量筛选方法(Pearson相关系数分析、MIC值分析、Light GBM变量重要性分析)和不使用变量筛选的Multidimensional-DeepAR模型的性能比较,结果表明使用Light GBM变量重要性分析进行变量筛选效果最好。五、本文获取了湖南省多个区县历年水稻害虫数据,对获取到的水稻害虫数据进行描述统计分析,挖掘不同种类害虫的相关性,发现稻飞虱、稻纵卷叶螟和二化螟是湖南省水稻主要害虫,且主要害虫间存在关联性。进一步又对二化螟数据与气象数据进行描述统计分析,挖掘对二化螟发生最有影响的气象变量,发现对二化螟发生关联性最大的气象变量为温度和大气压强。最后构建了基于深度学习模型DeepAR的Single-DeepAR概率预测模型和Multidimensional-DeepAR概率预测模型。SingleDeepAR概率预测模型直接使用二化螟的历史数据进行预测,对数据的需求量不多,且效果很不错,但此模型无法描述二化螟与相关害虫和气象因子之间的关系,无法将其移植到没有记录二化螟历史数据的区域进行应用。Multidimensional-DeepAR模型在Single-DeepAR的基础上,使用二化螟相关害虫变量、气象变量和时间变量作为协变量,该模型的实际应用价值更高,更具有普适性,且更能反映害虫动态变化过程,可以移植到很少或没有二化螟历史数据的区域进行预测,但该模型的结构较为复杂,且比较依赖合理的变量筛选方法,因此本文又比较了三种变量筛选方法,发现使用Light GBM变量重要性分析筛选变量对Multidimensional-DeepAR性能提升最好。对所有研究区域,基于Light GBM变量重要性分析的Multidimensional-DeepAR概率预测模型效果均最优,所以Multidimensional-DeepAR模型的空间扩展能力良好,更具有普适性,可将Multidimensional-DeepAR模型应用于其它区域及其它害虫种类上。

地下基础设施健康监测大数据处理与实现

这是一篇关于时间序列大数据,数据清洗,趋势预测,脆弱性综合评估,微服务的论文, 主要内容为随着城市化的迅速发展,城市地下基础设施的健康监测被视为现代化智慧城市建设中的重要一环。目前,国内外对城市地下基础设施运行综合健康监测的相关研究还处于起步阶段,城市地下基础设施的健康监测存在着数据类型多、数据量大、数据实时性等众多问题。解决以上问题,获得这些大数据背后的价值,对构建智慧化城市有着重要意义。本文首先对城市地下基础设施健康监测感知获取的时间序列数据的预处理技术进行研究,重点解决时序数据清洗中的缺失值、异常值处理问题以及时序数据变换中的数据压缩、时序趋势项提取问题,为时间序列趋势预测服务。在时间序列趋势预测部分,重点对当下流行的在线时序趋势预测技术进行研究,结合时序变点在线检测,创新性地将图像处理拐点检测方法融入时序变点检测中,使用混合预测模型提高了传统预测模型的效率与精度。另外对地下基础设施的健康综合评估进行研究,采用层次分析法建立脆弱性综合评估模型,在此基础上还进一步研究了模糊隶属度综合评价模型以及关联熵与复合物元综合评价模型,对实际的地下综合体外部水灾应用三种模型进行了水灾脆弱性的综合评价。最后,面向城市地下基础设施的健康监测大数据处理平台和微服务架构,设计并实现了以上处理算法及处理模型的算法微服务,在算法服务器上进行了微服务的部署,并实现了与平台系统的联调。进一步还研究了微服务的可拓展性实现与预处理算法服务的加速优化实现。

地下基础设施健康监测大数据处理与实现

这是一篇关于时间序列大数据,数据清洗,趋势预测,脆弱性综合评估,微服务的论文, 主要内容为随着城市化的迅速发展,城市地下基础设施的健康监测被视为现代化智慧城市建设中的重要一环。目前,国内外对城市地下基础设施运行综合健康监测的相关研究还处于起步阶段,城市地下基础设施的健康监测存在着数据类型多、数据量大、数据实时性等众多问题。解决以上问题,获得这些大数据背后的价值,对构建智慧化城市有着重要意义。本文首先对城市地下基础设施健康监测感知获取的时间序列数据的预处理技术进行研究,重点解决时序数据清洗中的缺失值、异常值处理问题以及时序数据变换中的数据压缩、时序趋势项提取问题,为时间序列趋势预测服务。在时间序列趋势预测部分,重点对当下流行的在线时序趋势预测技术进行研究,结合时序变点在线检测,创新性地将图像处理拐点检测方法融入时序变点检测中,使用混合预测模型提高了传统预测模型的效率与精度。另外对地下基础设施的健康综合评估进行研究,采用层次分析法建立脆弱性综合评估模型,在此基础上还进一步研究了模糊隶属度综合评价模型以及关联熵与复合物元综合评价模型,对实际的地下综合体外部水灾应用三种模型进行了水灾脆弱性的综合评价。最后,面向城市地下基础设施的健康监测大数据处理平台和微服务架构,设计并实现了以上处理算法及处理模型的算法微服务,在算法服务器上进行了微服务的部署,并实现了与平台系统的联调。进一步还研究了微服务的可拓展性实现与预处理算法服务的加速优化实现。

面向群体用户的情感趋势预测方法研究

这是一篇关于群体用户,特征提取,情感分析,时间序列,趋势预测的论文, 主要内容为在线购物已成为最主流的消费方式之一,用户在电商平台发表的评论往往带有对商品的购买体验和情感观点。然而群体用户对商品评论的动态性导致情感趋势随时间发生变化,如何高效挖掘评论中潜在的情感观点,分析和预测群体用户对商品的真实情感倾向,从而辅助商家精准地定位用户需求,是促进电子商务发展的关键问题。现有情感趋势预测方法主要从单一用户角度获取情感趋势,难以深层次挖掘群体用户评论对商品的情感趋势变化,导致预测准确率低。本文从特征提取、情感分析、时序情感趋势预测三方面入手,提出一种面向群体用户的情感趋势预测方法。其主要研究工作包括以下几个方面:(1)为提高特征词提取精准度,针对传统TF-IDF算法存在的过度依赖词频计算特征词权重问题,提出一种基于多特征因素相融合的文本特征提取方法。首先,利用传统算法计算特征词权重;其次引入特征词位置和词性因子对TF-IDF算法权重进行重新分配和排序;最后融合三个结果计算更新特征词的权重。实验表明,优化后的TF-IDF算法的特征词提取精确度相对提高了1.6%。(2)为改善情感分类准确率较低问题,设计了一种基于多维情感特征向量的多层感知器(MLP)网络模型。首先,结合优化TF-IDF算法挖掘群体用户评论并获取多维情感特征;其次融合多层感知器(MLP)模型进行情感分析,以此获取群体用户情感倾向值;最后引入支持向量机(SVM)、决策树(DT)及朴素贝叶斯(NB)模型验证对比。实验表明所提出情感分类模型的准确率平均相对提高了4.9%,且F值提高了1.7%,能够为情感趋势预测阶段提供较好的基础依据。(3)在时序情感趋势预测过程,将上一阶段得到的群体用户情感倾向值与对应评论时间进行融合,构建群体用户时序情感倾向序列,并提出一种基于多层长短时记忆网络(ML-LSTM)模型的情感趋势预测方法。在大规模真实数据集上的实验效果表明,相比于现有的自回归(AR)模型、长短时记忆网络(LSTM)模型的平均MSE值分别降低了0.5%和0.02%,且ML-LSTM模型分别优于AR模型、LSTM模型的百分比达到了82.9%和13.9%,能够取得更加精准的预测结果。

面向群体用户的情感趋势预测方法研究

这是一篇关于群体用户,特征提取,情感分析,时间序列,趋势预测的论文, 主要内容为在线购物已成为最主流的消费方式之一,用户在电商平台发表的评论往往带有对商品的购买体验和情感观点。然而群体用户对商品评论的动态性导致情感趋势随时间发生变化,如何高效挖掘评论中潜在的情感观点,分析和预测群体用户对商品的真实情感倾向,从而辅助商家精准地定位用户需求,是促进电子商务发展的关键问题。现有情感趋势预测方法主要从单一用户角度获取情感趋势,难以深层次挖掘群体用户评论对商品的情感趋势变化,导致预测准确率低。本文从特征提取、情感分析、时序情感趋势预测三方面入手,提出一种面向群体用户的情感趋势预测方法。其主要研究工作包括以下几个方面:(1)为提高特征词提取精准度,针对传统TF-IDF算法存在的过度依赖词频计算特征词权重问题,提出一种基于多特征因素相融合的文本特征提取方法。首先,利用传统算法计算特征词权重;其次引入特征词位置和词性因子对TF-IDF算法权重进行重新分配和排序;最后融合三个结果计算更新特征词的权重。实验表明,优化后的TF-IDF算法的特征词提取精确度相对提高了1.6%。(2)为改善情感分类准确率较低问题,设计了一种基于多维情感特征向量的多层感知器(MLP)网络模型。首先,结合优化TF-IDF算法挖掘群体用户评论并获取多维情感特征;其次融合多层感知器(MLP)模型进行情感分析,以此获取群体用户情感倾向值;最后引入支持向量机(SVM)、决策树(DT)及朴素贝叶斯(NB)模型验证对比。实验表明所提出情感分类模型的准确率平均相对提高了4.9%,且F值提高了1.7%,能够为情感趋势预测阶段提供较好的基础依据。(3)在时序情感趋势预测过程,将上一阶段得到的群体用户情感倾向值与对应评论时间进行融合,构建群体用户时序情感倾向序列,并提出一种基于多层长短时记忆网络(ML-LSTM)模型的情感趋势预测方法。在大规模真实数据集上的实验效果表明,相比于现有的自回归(AR)模型、长短时记忆网络(LSTM)模型的平均MSE值分别降低了0.5%和0.02%,且ML-LSTM模型分别优于AR模型、LSTM模型的百分比达到了82.9%和13.9%,能够取得更加精准的预测结果。