云模型相似性度量方法研究及应用

这是一篇关于三角云模型,相似性度量,三角模糊数,EW-型贴近度,指数贴近度,时间序列,协同过滤的论文, 主要内容为90年代初期李德毅院士提出了集模糊性和随机性于一身的模型——云模型,该模型利用正向云发生器和逆向云发生器实现定性概念与定量数据的转换,实现概念外延与内涵的双向认知,模拟了人类的认知过程,可以很好地解决不确定性问题的表达与处理。随着对云模型深入地研究,云模型的理论不断丰富壮大,云模型的相似性度量逐渐成为云模型理论研究中必不可少的部分,并在数据挖掘、协同过滤推荐、系统评估等应用中取得了不错的成绩。本文针对现有的相似性度量方法中存在区分度不高,结果不稳定等问题,提出了基于EW-型贴近度的三角云模型相似性度量方法(similarity measure method of Expectation curve and Maximum boundary curve based on Triangular Cloud Model,EMTCM)和基于距离和形状的三角云模型相似性度量方法(similarity measure method of Distance and Shape based on Triangular Cloud Model,DSTCM)。论文的主要工作包括:1)利用正态云模型的扩展模型三角云模型为研究对象,并在3En规则内将三角云模型的期望曲线及最大边界曲线看作三角模糊数。2)通过计算三角模糊数的EW-型贴近度来度量云模型的相似性,充分考虑了期望曲线和最大边界曲线的特点,提出了EMTCM方法。3)根据EW-型距离公式引入指数贴近度的概念,并用其表征云模型的距离相似度;然后通过云模型云滴的方差,计算出云模型的形状相似度;最后将云模型的距离与形状相似度综合起来,提出了DSTCM方法。将EMTCM方法和DSTCM方法先进行仿真实验,表明这两种方法都具有可行性和较好的区分度,然后再进行Synthetic Control Chart Dataset数据集上的分类实验,从分类精度及CPU运行时间代价两个方面表明,EMTCM方法有很好的分类精度,但需要花费大量的时间,不适合用于较大数据集,而DSTCM方法既有较好的分类精度又有较低的运行时间代价。由于DSTCM性能相对较好,因此将其方法应用到Movie Lens站点提供的数据集中进行协同过滤推荐,展现出良好的效果。

基于大数据机器学习产能预测研究

这是一篇关于大数据,产能预测,时间序列,自回归移动平均算法,长短期记忆学习算法的论文, 主要内容为水驱老油田的储量及产量在中国石化占有重要地位,进入特高含水期后,老油田依然具有相当多的剩余油潜力,依然是油田开发的主力。利用大数据技术和机器学习算法建立适应特高含水期及低油价形势下开发指标预测方法,形成高精度、高效率的油井产能预测技术,将具有较大的市场需求。开发指标预测及油井产能预测方法对进入高含水期的水驱砂岩油藏具有广泛的适应性,而且具有易操作、效果好、投入少、效益高的优势,通过推广应用,对低油价下水驱油藏的效益开发具有重要意义。本文运用大数据技术与机器学习算法相结合,进行油井产能预测,首先是对传统产能分析方法进行研究和对比,挖掘产能预测所需的相关变量和参数,并对从先前的预测方法和渗流规律中归纳总结,得出产能动态变化规律,并与产量递减规律相结合,进行大数据机器学习筛选。本文进一步进行基于时间序列的产能预测方法。首先是基于时间序列与油井产量序列的单因素产能预测,得到初步的训练模型,并与实际数据进行对比进行误差分析,反馈模型修正,得到单因素产能预测模型。第二步是根据因素筛选结果,进行时间序列的多因素产能预测,通过改变影响参数,已经不同的井网设置,得到不同井网条件下的产能预测模型。本文针对特高含水期产能预测方法问题,提出了基于大数据和机器学习算法的多因素时间序列产能预测模型,并与传统产能预测方法对比,模型预测准确度经过参数优选后提高至90%以上,同时实现了实时预测和反馈预测。丰富了产能预测的理论和方法,为开发设计、产能评价提供了理论基础和依据。

面向随机多对象动态系统的深度生成式模型

这是一篇关于动态系统建模,图神经网络,时间序列,状态空间模型,深度生成式模型,规整化流的论文, 主要内容为现实世界中的动态系统通常由多个存在随机性交互影响关系的对象组成。建模和预测此类多对象动态系统的行为通常较为困难,因为其各个组成对象间的复杂相互作用和联合演化过程难以被有效形式化。本文提出了两种使用图神经网络对随机多对象动态系统进行深度生成式建模的方法。在第一种方法中,我们提出了关系式状态空间模型,其在状态空间模型的框架下使用图神经网络建模多个相关对象的交互影响关系和联合状态转移;在第二种方法中,我们提出了条件式图规整化流模型,其在规整化流的框架下使用在时间维度上并行化的图神经网络建模多对象多步轨迹的联合分布中对象间的依赖。通过图神经网络与深度生成式模型的紧密融合,关系式状态空间模型提供了一种在多对象动态系统建模中利用关系信息的灵活方式,而条件式图规整化流模型提供了一种联合预测多对象未来多步轨迹的高效方式。两种模型的有效性在合成和实时序列数据集上得到了实验验证。

智能运维时序数据异常检测研究

这是一篇关于时间序列,LSTM,CEEMDAN,异常检测,在线聚类,局部密度的论文, 主要内容为随着硬件和软件技术的进步,企业IT系统的规模变得愈发庞大。分布式的复杂系统、基于微服务的结构也让程序之间的依赖和调用关系变得复杂无比。同时,IT系统的不断扩张也带来了海量的数据,传统的运维方式无法满足日益增长的运维需求,运维智能化的重要性不断上升。本课题针对IT运维系统中的各种监控指标数据的异常检测问题,做了深入的研究。本文针对研究的时间序列的异常特点,利用已有的机器学习技术,结合不同的数据处理方法,对时间序列进行建模,从而实现对时间序列数据的异常检测功能。根据场景的不同主要分为以下两种类型的算法:针对基于预测的时间序列异常检测算法,结合时序数据分解与滑窗机制设计了一种基于时间序列分解与预测的异常检测算法D-LSTMAD(Decomposition and LSTM Based Anomaly Detection)。首先,使用基于密度的聚类算法对数据进行初步处理,去掉其中突变的点,并使用三次样条插值法补全数据;然后使用全集成自适应经验模态分解(complete ensemble empirical mode decomposition with adaptive noise,CEEMDAN)算法对处理过的时间序列进行分解,得到一系列包含原序列不同时间尺度局部特征的分量;接着,利用滑动窗口处理分解后的分量,构造算法的输入与输出,使用长短期记忆网络(Long Short-Term Memory,LSTM)算法训练模型;最后,使用基于滑窗的动态阈值规则来对数据进行异常判定。基于雅虎的WebscopeS5数据集,通过与两个典型算法的实验结果相比,验证了模型预测的准确性,与当前先进算法的比较结果也证明了算法在异常检测方面的优异效果。针对基于聚类的时间序列异常检测算法,结合时间序列的在线聚类算法与局部离群因子(Local Outlier Factor,LOF)算法,设计出了一种基于聚类与密度的在线无监督时间序列异常检测算法CDBOAD(Clustering and Density Based Online Anomaly Detection)。首先,利用滑动窗口处理时间序列数据,构造输入向量;然后使用在线聚类算法Den Stream(Density-Based Clustering over an Evolving Data Stream with Noise)对输入数据进行聚类;最后,根据基于局部密度的异常检测规则以及聚类结果判断输入数据的异常二元判定值。在雅虎的WebscopeS5数据集上的实验结果表明该算法具有良好的实时性,同时,在Numenta异常基准下的实验结果表明,该模型在异常检测方面取得了较好的效果。

融合时间序列和好友关系的社交推荐算法研究

这是一篇关于推荐系统,社交网络,时间序列,信任模型,矩阵分解的论文, 主要内容为近年来,社交网络服务日益流行,人们在上网购物时,往往容易接受朋友的推荐。很多科研学者尝试将用户的社交网络信息融入到推荐算法中,经研究表明,用户的社交网络信息确实可以有效缓解协同过滤推荐算法存在的数据稀疏性、扩展性不足等问题,具有一定的研究意义。然而大部分基于社交网络的推荐算法仅仅只利用了用户好友之间的二值化信任关系,却忽略了好友之间因具有不同兴趣偏好而使信任程度也不相同的问题,并且很多算法没有考虑用户在不同领域下信任的朋友也会不同。此基础之上,针对当前算法存在的问题,本文利用用户在社交网络中的好友关系和用户兴趣行为随时间变化的特点,提出改进算法,具体研究内容如下。(1)针对用户-项目数据稀疏性问题,本文在基于用户的协同过滤推荐算法进行改进,利用推荐用户的社交信息和评分信息,提出一种融合信任模型和用户行为的推荐算法。首先根据项目类别对社交信任网络进行划分,其次,在社交网络中根据用户信任的传递性建立推荐用户的信任模型,考虑到用户与近邻好友兴趣偏好的差异,利用共同评分项目分别计算用户与好友之间的信任度,同时使用用户评分真实度来减弱虚假或机器用户的影响。最后结合用户相似度形成推荐权重,对推荐用户的目标项目进行预测评分。在Epinions数据集和FilmTrust数据集上进行对比实验,结果表明,本文所提算法在准确率和召回率这两个评价指标上确实优于其他对比推荐算法。(2)本文在基于模型的协同过滤推荐算法理论上,以LFM矩阵分解为框架,提出一种融合时间特性和矩阵分解的社交推荐算法。首先本文根据评分信息中的评分时间,对用户相似性度量方法在基于时间衰减函数的基础上进行改进;其次分别对用户在社交网络中的全局社交关系和局部社交关系进行动态建模;然后把用户的个人兴趣偏好变化和社交关系模型加入到矩阵分解中,再将所求得的用户相似度与预测相似度作差,融入进损失函数中形成训练模型。最后对缺失评分进行预测,继而将生成的推荐列表推送给用户。在Yelp数据集和CiaoDVD数据集上进行仿真实验,通过实验对比分析,本算法降低了推荐结果的均方根误差和平均绝对误差。本文共有图33幅,表10个,参考文献83篇。

基于多核并行的水电站厂内经济运行研究

这是一篇关于水电站厂内经济运行,多核并行,Fork/join框架,时间序列,入库流量预测,软件设计的论文, 主要内容为随着我国西南地区大型水电站的不断投产,电站呈现出单机容量大、机组台数多等显著特点,给水电站厂内经济运行优化计算来了巨大挑战。事实上,水电站厂内经济运行是一个高维、离散、非凸、非线性优化问题,调度计算面临求解效率低下、计算精度无法满足实际需求、决策支持复杂等困难,巨型水电站的投产使得这些困难尤为突出。针对这些问题,以乌江渡电站为研究背景,从并行求解、流量预测及决策支持构建等方面进行了深入研究,主要的工作内容如下:(1)大型水电站如果依然用以往常用的动态规划方法求解厂内经济运行问题将面临“维数灾”困境和计算时效性考验,因此可以利用现今强大的计算平台,将多核并行技术引入经典的动态规划的求解模型中,能够有效的避免传统方法的不足之处,得出较满意的结果。本文以乌江渡水电站为工程背景,深入研究了厂内经济运行的基本原理和建模思路等,提出了一种新的求解方法——基于Fork/join并行框架的动态规划方法,结合相关工程实际,取得比较好的结果,为解决新形势下厂内经济运行计算所面临的问题提供了全新的解决思路。(2)水库日入库流量是水电站厂内经济运行计算的重要输入,是影响计算结果精度的关键因素。入库流量预测的准确性直接决定了厂内经济运行计算过程中的水头及耗水率的选择,同时也关系着调度期时段末水位的确定,因此有必要对水库日入库流量这一水文要素值进行预测。本文采用平稳时间序列外推法的求解模型,由入库流量的时间序列随机过程现实,研究其不同时间间隔的相关函数,建立入库流量关于时间前后期的线性关系模型。实例计算表明,预测结果的合格率较高,所以,该预测方法具有一定的实用价值和可行性。(3)在J2EE技术架构平台上,采用基于Web技术B/S结构的软件开发方式,设计开发了水电站厂内经济运行优化控制系统,重点讲述了系统需求、系统框架、系统开发原则和系统主要功能设计等关键步骤。该系统具有集成性高、稳定可靠、智能化程度高、兼容性好、操作简便、易维护等特点。经过对上述问题的分析研究,对水电站厂内经济运行有了更加全面深刻的理解和认识,也很好的掌握了解决工程实际问题的科学合理的解决办法。最后对全文做了总结与展望。

基于行为数据分析的学习者学习习惯挖掘及学习路径规划

这是一篇关于智慧教育,学习习惯,时间序列,学习路径的论文, 主要内容为在线教育可以让人人享受到平等的教育,学习者可以自由选择自己想要的课程。但这也带来了弊端,比如由于知识碎片化引发的知识过载与学习迷航问题,以及资源推荐中学习者与资源间的语义鸿沟的问题。本文提出一种基于学习者学习行为序列的学习习惯挖掘方法,利用学习习惯可以在其偏好的学习时间提醒学习者进行学习,并且可以通过对于学习序列的分析,为学习者提供学习路径规划以及学习内容推荐等,以求减少在线教育中的辍学率,或者在学习者放弃课程之前尽可能的学到课程中更多的内容。同时本文将具有更强约束条件的线下学习内容融入到学习路径的规划中,让学习者的学习效果进一步的提高。本文就如何解决学习迷航以及填补教育资源与学习者之间的语义鸿沟的课题中的两个子问题展开研究,即挖掘学习者学习习惯以及为学习者规划学习路径两个问题。学习习惯挖掘子问题主要是如何对学习者的学习习惯进行建模,并通过对真实数据的处理和分析,挖掘出学习者的学习习惯。利用得到的学习习惯对学习者进行群组划分,通过对真实数据集的实验,验证了利用Kmeans思想解决学习习惯群组划分问题的有效性。并通过LSTM算法预测学习者对于习题的作答结果,验证了将学习行为序列抽象成时间序列进行习题作答预测的可行性。学习路径规划子问题主要是如何利用学习习惯挖掘的结果,对学习者的学习内容进行建模,并为学习者规划个性化的、准确的学习路径,使得学习者能够更高效的进行学习。对于学习者学习习惯挖掘子问题,本文将学习者的学习习惯抽象成线性空间中的子空间,通过对真实在线教育数据集Xuetang XDataset的处理来获得学习者的学习习惯。然后利用学习者的学习习惯为学习者划分学习群组,本文提出了一种基于Kmeans思想的群组划分算法,该方法可以对具有相同学习习惯类别的学习者进行有效的学习习惯群组划分。除此之外,还将利用学习习惯来训练习题作答预测模型。本文将学习者的学习行为抽象成时间序列,利用LSTM算法分别对每位学习者和每道习题进行建模。对于学习者学习路径规划子问题,本文将知识点和课程统称为学习对象,并提出学习路径本质上是一个知识点序列。结合习题作答预测的结果为知识点和课程进行了建模,基于建立的模型提出了一种基于知识图谱的带有复习策略的学习路径规划算法,该算法分为课程内和课程间两个部分,规划的学习对象分别是知识点和课程,并在其中加入了线上线下教育资源融合相关的内容。最后利用拓扑排序为学习者展示完整的个性化学习路径。

基于GEE平台多源遥感的作物分布精细提取与早期识别研究

这是一篇关于遥感,面向对象,机器学习,时间序列,早期识别,Google Earth Engine的论文, 主要内容为及时准确的作物类型信息对于产量估计、价格预测、农业保险和水肥管理等相关决策具有指导意义。遥感作为地理信息科学的重要组成部分,其丰富的数据类型为作物制图提供了多种维度的特征集合,能够客观的反映处于不同生长阶段的作物信息。目前遥感在作物分布提取的应用中仍然面临三个问题:一是长期多云多雨的气候条件降低了光学影像的可用观测数量,不同区域的遥感数据分布不均衡极大的限制了作物识别的精度。二是在空间异质性高、作物物候相近且种植类型复杂的区域的光谱特征受到混合像元等影响存在不确定性,在地块尺度上准确的提取作物分布仍面临挑战。三是作物在生长早期的特征不明显且缺乏实地调查样本,目前大多数的作物制图方法需要用到作物生长中后期的遥感监测信息,导致时效性较低。对于上述问题,本文选择内蒙古自治区的牙克石市和江苏省邳州市两个具有不同气候与地理特征的典型作物种植区,基于Google Earth Engine(GEE)云平台分别从作物种植分布提取和作物早期识别两个方面开展研究:(1)基于遥感时序物候特征和面向对象的作物分布提取研究。对于作物提取中面临的光学遥感数据缺失严重、地块破碎以及作物种植类型复杂的问题,以内蒙古牙克石市为研究区,根据时间序列与作物物候信息构建敏感特征空间,结合机器学习和面向对象的分类方法提取油菜、小麦以及作物物候相似的土豆和大豆四种主要种植作物。首先融合2021年的可用Landsat-8与Sentinel-2(L8-S2)作为光学观测数据,构建决策规则提取潜在的农田与非常绿植被。其次分析MODIS和Sentinel-1时间序列获取作物的物候时间窗,结合L8-S2和Sentinel-1构建能够增强不同时期的作物物候差异的12个敏感波谱特征,利用JM算法定量评估特征的可分性。然后设定不同分割尺度通过简单非迭代聚类进行图像分割,将特征输入分类回归树、支持向量机和随机森林三种机器学习算法进行面向对象分类,最后通过混淆矩阵以及面积统计验证方法的有效性。结果表明:基于遥感时序物候信息构建的敏感波谱特征具有良好的可分离度,每个特征至少存在两个不同类别间的JM距离大于1.75。随机森林在分割尺度大小为25时的Kappa系数最高为0.93。支持向量机和分类回归树在分割尺度大小分别为20和10时的Kappa系数最高为0.92和0.86。三种机器学习算法在面向对象的作物提取精度均优于基于像素的分类方法,其中基于对象的随机森林算法具有最佳的性能表现,所提取的2021年牙克石市的油菜、小麦、大豆、土豆的种植面积分别为344.15平方千米、669.28平方千米、74.46平方千米、209.95平方千米,与统计数据对比显示的面积百分比误差分别为0.77%、24.55%、1.53%、4.31%。所提出的方法能够较好的应用于复杂气候与地理环境下作物的精细提取。(2)基于雷达与光学时序影像的冬季作物早期识别研究。对于作物提取中面临的无云观测遥感数据的时空分布不均匀、处于生长早期的作物信号不明显以及实地调查样本匮乏的问题,以江苏省邳州市为研究区,探索生长期接近的冬季作物(大蒜和冬小麦)的最早可识别时间并生成早期作物分布图。首先从播种期开始每隔10天对其中的所有影像进行中位数合成,通过线性插值以及时间序列谐波分析(HANTS)重构原始时间序列,获得能够表征2019年和2020年生长季节冬季作物物候变化的连续且等间隔的像素时间剖面。然后使用随机森林算法,设计实验探索Sentinel-1/2和时间信息对不同时期的作物识别的有效性,以及样本的年际迁移对于冬季作物早期识别时间的影响。结果表明:Sentinel-2对早期的冬季作物识别比Sentinel-1更为有效,绿波段、红波段、红边1波段以及短波红外波段对于大蒜和冬小麦的准确识别具有重要作用,光学和雷达时间序列特征的组合表现最好。不同年份的作物样本受温度的影响而体现出不同的物候特征,这些差异对于年际间的分类器迁移模型的分类性能具有负面影响,其精度在越冬前后呈现双峰分布。在使用当年样本(2020年样本)时,大蒜最早可在越冬前的幼苗期(收获前160天)准确识别,冬小麦可以在分蘖前期(收获前140)天准确识别,F1分数均为0.93。使用独立于当年样本(2019年样本)时,大蒜在花芽和鳞茎分化期(收获前40天准确识别),冬小麦在返青期(收获前2个月)准确识别,F1分数分别为0.92和0.98。越冬前的12月下旬和和3月中上旬的返青期是大蒜和冬小麦能够进行早期识别的重要时间节点。本文所有的数据处理和分析都是在GEE的并行计算系统中进行的,在作物的精细提取与早期识别中具有较大的应用潜力。

手机销量预测系统的设计与实现

这是一篇关于手机销量预测,时间序列,预测模型,供应链的论文, 主要内容为随着移动互联网的快速发展,智能手机作为接入移动互联网的重要终端也如互联网一样蓬勃发展。智能手机厂商也如雨后春笋般迅猛发展,而随着各个厂商的激烈竞争,控制供应链的硬件合理备料对于控制成本提高研发投入从而提高厂商竞争力是非常重要的。采用计算机技术根据历史销量对新品手机销量进行预测,从而提供客观的参考数据,将会给手机厂商在管理供应链时提供指导性的帮助。系统将历史销量数据按品牌、档位、制式等属性分类,并根据时间序列预测模型ARIMA和Holt-Winters来建立手机销量预测模型。系统采用B/S架构,前台使用JSP+JS实现交互页面,并采用echarts实现图形化,采用JavaEE实现系统完整业务处理,并使用mysql作为数据库进行数据管理和持久化。系统的核心是对历史数据进行分析建立预测模型,并采用R语言实现预测算法。系统分为历史数据导入及查询模块、创建预测机型模块、机型属性分析模块、历史容量分析模块、历史容量预测模块、品牌占有率分析模块、机型占有率预测模块、预测结果展示模块等主要功能模块。使用SpringMVC+Mybatis来简化系统开发,并在机型属性分析中调用爬虫技术来获取相关数据信息,将预测过程中产生的预测数据保存,并在最后预测结果中汇总所有预测数据得到最终预测结果并导出结果。系统通过时间序列预测算法对新上市机型销量进行预测,所得预测结果为供应链备料提供参考,从而使供应链的管理更加有效合理。