电信客户流失预测系统的设计与实现

这是一篇关于KNN,客户细分,加权K-Means,流失预测,Voting融合的论文, 主要内容为近几年,国家对电信行业的监管日渐严格,与此同时,电信行业面临着日趋激烈的市场竞争。在此背景下,对客户流失进行预测,以便制定针对性的客户营销策略,增加客户粘性,变得尤为重要。本文以电信运营商的核心需求为切入点,设计并实现一种电信客户流失预测系统,采集和处理相关的客户相关数据,应用客户细分模型和流失预测模型,对客户进行流失预测,以便企业对高价值客户进行挽留,减少客户流失率。论文主要工作如下:(1)数据采集与预处理。通过Kettle抽取、转换和监控数据,进行包括数据清洗、特征构造、数据规范化等数据预处理工作,提出了基于KNN的缺失值填补方法,并对客户流失数据集进行特征选择,以提高训练数据的质量。(2)客户流失预测模型构建。利用熵权法和相关性分析法确定模型参数指标权重,提出了基于加权K-means算法的电信客户细分方法;利用逻辑回归、随机森林、XGBoost和Light GBM算法分别构建客户流失预测模型,并对模型参数进行调优,然后选择AUC高的模型进行Voting融合(包括软投票和硬投票),将分群结果应用到流失预测中,提高预测准确度。(3)设计并实现了电信客户流失预测系统。基于Spring Boot和Vue框架进行系统开发,系统主要包括系统基础功能模块、数据采集模块、数据建模模块以及数据展示模块,并对系统进行了功能性和非功能性测试,验证了该系统的有效性和可靠性。

基于无线网络的室内导航智能停车系统研究

这是一篇关于ZigBee,室内定位,高斯函数,KNN,导航的论文, 主要内容为物联网的发展使人们的生活越来越方便,在大型室内停车场中,快速寻找到车位对于用户来说至关重要,可以节约时间成本并提高用户地满意度。因此室内导航智能停车系统的研究,对提高人们生活的便利性和停车场管理效率等方面具有积极意义。论文首先通过详细对比各类无线设备,包含Zig Bee、Wi Fi、RFID、UWB等,最终选择Zig Bee为硬件设备。完成对Zig Bee设备的研究,掌握该设备基本的工作原理和组网方式,获取实验数据。为了得到合适的环境参数,使用针对Zig Bee的集成开发环境IAR对程序二次开发并调试。设备根据烧入不同的代码划分为协调器、路由器和终端。为了更好地采集数据,终端设备的摆放位置也通过实验分析得到,减少多余的设备,选取最优的位置,为数据采集作基础。其次在分析了多种定位算法后,选择了基于指纹数据库的确定性算法,即传统的KNN算法。实际定位结果是需要软件算法计算得到。在完成指纹数据的采集后,考虑到这些离线数据符合正态分布,因此使用高斯函数对KNN算法进行加权,通过MATLAB程序对算法运行的结果进行比较,结果显示通过高斯函数加权的最终结果比传统KNN和普通基于距离倒数加权的方式精度高,进一步证实了高斯加权的优势。由于室内停车场环境变化小,该定位方法具有较好的适用性,对于室内导航的研究提供帮助。导航则从真实的停车场出发,设计出部分室内地图,模拟实现导航功能。在选择起止点之后,计算生成一条参考路线,提供给用户。最后管理系统的设计实现是根据停车场基本的需求,包含注册登录,车位管理,导航功能,计时收费和账单查看等功能模块。系统采用web的方式开发,整个web系统使用Spring、My Batis和Spring MVC框架,数据库为免费开源的My SQL,前端页面采用的技术有jsp、JQuery以及Page Helper插件来完成分页功能。

基于深度学习的电影推荐系统研究与实现

这是一篇关于推荐系统,深度学习,ConvMF,KNN,矩阵分解的论文, 主要内容为推荐系统是解决信息过载现象最有效的手段之一,通过与传统分类、搜索引擎等技术相结合,能有效的提高用户获取信息的效率,给人们带来良好的体验。随着互联网信息技术的发展,人们普遍地在网上观看电影。而电影产业已经发展多年,有大量的影片已存在于世,电影信息过载现象会越来越严重。面对海量的视频,把推荐算法应用于电影视频产业,一方面是用户的体验越来越好,一方面促进了推荐算法的演变与发展。当下,深度学习技术在自然语言处理领域已经取得了成功,使用深度学习技术来处理电影的描述信息并结合传统推荐算法,设计并实现一个基于深度学习的个性化电影推荐系统具有重要的意义。本文首先介绍了电影推荐系统的研究背景及意义,详细阐述了推荐系统的组成与推荐算法的分类,然后详细介绍了基于内容的推荐算法、基于领域的推荐算法、基于矩阵分解的推荐算法的原理和各自的优缺点以及混合推荐算法,并且对衡量推荐算法的性能指标进行说明。然后介绍了一种基于深度学习技术的推荐模型ConvMF,对其中所使用的概率矩阵分解模型、卷积神经网络结构进行了详细的说明。首先提出了优化概率矩阵分解模型中用户特征向量矩阵、电影特征向量矩阵初始化策略,然后优化了ConvMF模型中卷积神经网络结构中的嵌入层的初始化策略。本文首次把KNN算法与ConvMF模型相结合提出了一种新的模型ConvMF-knn,以解决在矩阵分解过程中丢失的隐含信息。最后在MovieLens,AIV公开数据集上验证并对实验结果进行分析。最后,根据某公司的业务特征及需求分析,采用B/S结构,实现了一个由用户评论模块、推荐模块以及爬虫模块等组成的个性化电影推荐子系统。并对系统主要功能接口进行了测试。将改进后的ConvMF-knn模型应用于个性化电影推荐系统推荐模块当中,提高此系统的推荐精度。

基于无线网络的室内导航智能停车系统研究

这是一篇关于ZigBee,室内定位,高斯函数,KNN,导航的论文, 主要内容为物联网的发展使人们的生活越来越方便,在大型室内停车场中,快速寻找到车位对于用户来说至关重要,可以节约时间成本并提高用户地满意度。因此室内导航智能停车系统的研究,对提高人们生活的便利性和停车场管理效率等方面具有积极意义。论文首先通过详细对比各类无线设备,包含Zig Bee、Wi Fi、RFID、UWB等,最终选择Zig Bee为硬件设备。完成对Zig Bee设备的研究,掌握该设备基本的工作原理和组网方式,获取实验数据。为了得到合适的环境参数,使用针对Zig Bee的集成开发环境IAR对程序二次开发并调试。设备根据烧入不同的代码划分为协调器、路由器和终端。为了更好地采集数据,终端设备的摆放位置也通过实验分析得到,减少多余的设备,选取最优的位置,为数据采集作基础。其次在分析了多种定位算法后,选择了基于指纹数据库的确定性算法,即传统的KNN算法。实际定位结果是需要软件算法计算得到。在完成指纹数据的采集后,考虑到这些离线数据符合正态分布,因此使用高斯函数对KNN算法进行加权,通过MATLAB程序对算法运行的结果进行比较,结果显示通过高斯函数加权的最终结果比传统KNN和普通基于距离倒数加权的方式精度高,进一步证实了高斯加权的优势。由于室内停车场环境变化小,该定位方法具有较好的适用性,对于室内导航的研究提供帮助。导航则从真实的停车场出发,设计出部分室内地图,模拟实现导航功能。在选择起止点之后,计算生成一条参考路线,提供给用户。最后管理系统的设计实现是根据停车场基本的需求,包含注册登录,车位管理,导航功能,计时收费和账单查看等功能模块。系统采用web的方式开发,整个web系统使用Spring、My Batis和Spring MVC框架,数据库为免费开源的My SQL,前端页面采用的技术有jsp、JQuery以及Page Helper插件来完成分页功能。

网络新闻分类系统及个性化新闻网站的研究与应用

这是一篇关于Web文本挖掘,KNN,Struts的论文, 主要内容为随着互联网的飞速发展及其影响力的不断扩大,网络上的信息量也随之不断增加。面对浩瀚如海的网络信息,依靠人工完成信息的分类已经无法满足实际的需求。其次,网站的人性化设计也成为网站管理者所关心的问题,一个具有人性化特征的网站势必会吸引更多的用户,会给网站带来更多的效益。本文基于上面的需求,引入Web文本挖掘技术来实现信息的快速分类,以及实现具有人性化特征的网站。 首先,本文深入研究了中文文本自动分类所涉及到的相关理论和技术。其中包括网页信息抽取技术、文本分词技术、文本向量化技术、文本特征提取技术以及文本分类技术。通过分析与比较上述技术所涉及到的理论和算法,根据系统需求自行设计了网页信息抽取算法。择优选取了最大匹配分词算法、TF-IDF文本向量化算法、互信息量特征抽取算法以及KNN文本分类算法,并对互信息量算法进行了局部改进。 其次,文文深入研究了Lucene全文检索系统,并在其基础上实现了中文文本分词功能,Lucene系统可以给系统提供可扩展的全文检索功能。基于上述选取的算法,本文利用Java和面向对象编程技术(设计模式等)结合Lucene平台开发了具有能够自动分类html和txt格式文本功能的文本自动分类系统,该系统提供了可扩展的接口,便于系统的扩展与改进。系统开发完成后,本文对系统利用国际评测标准(查全率、准确率以及F1测试值)对系统进行了测试并对测试结果进行了详细的分析。 最后,本文通过研究与分析用户信息挖掘相关技术,自行设计了一种可以按照用户浏览爱好对网站页面进行自动排版的算法。在排版算法的基础上利用JSP和Struts技术实现了具有自动排版功能的个性化新闻网站。由于采用了Struts技术,该网站具有模块间的松耦合性,便于系统的扩展。

预焙阳极配方数据评估与分析研究

这是一篇关于预焙阳极,焙烧,K-means,神经网络,KNN的论文, 主要内容为预焙阳极作为电解铝产业的配套产业,其发展与电解铝技术的进步是分不开的。在预焙阳极炭块生产过程中,要经过煅烧,焙烧,成型和组装等工序。本文主要研究的阶段为焙烧阶段,旨在通过运用数据挖掘理论,分析不同粒度的煅后石油焦的配比和焙烧后所生成的焙烧块的理化指标的关系,通过建立和优化预焙阳极配方焙烧块预测评估模型来评估配方的优劣,为预焙阳极配方的优化提供参考,达到减少资源浪费,提高生产效率的目的,为铝电解行业的发展添砖加瓦。论文研究了预焙阳极焙烧过程中的相关技术和理论知识,包括预焙阳极生产流程,焙烧块质量参数评定标准以及数据挖掘相关知识。课题主要用到的数据挖掘算法有K-means聚类算法,BP神经网络和KNN分类算法。首先,本文对焙烧块质量参数进行分析与标准评定,以企业标准检测焙烧块是否合格,以灰分,体积密度,电阻率,真密度,耐压强度,CO2反应性,热膨胀系数等焙烧块理化指标为维度,利用K-means聚类算法对焙烧块进行归类,并计算类别基础分,最后利用本文提出的焙烧块类别-加权评价方法评定焙烧块的质量。其次,建立了BBP阳极配方焙烧块预测评估模型,用于探寻阳极配方与焙烧块质量评分的内在关系。然后,优化传统KNN分类算法并将之与BP神经网络相融合,提出了对BBP模型的优化模型BBPK模型。在BBPK模型中,使用KNN将神经网络输出的焙烧块理化指标进行分类并对焙烧块进行类别-加权评分,去评定在新配方下所烧制的焙烧块质量的优劣。分别使用BBP模型和BBPK模型进行实验并分析对比实验结果,论证对阳极配方焙烧块预测评估模型优化是有意义的。最后,运用软件工程设计思想,采用SSM架构,构建轻量级软件开发模型,设计预焙阳极配方评估分析Web系统应用,预测评估配方数据的好坏,可视化预测评估数据,为企业的生产决策提供帮助。

基于红外热成像技术的肉鸡腿部异常检测系统设计与实现

这是一篇关于白羽肉鸡,腿部疾病,红外热成像,KNN,随机森林,WEB平台的论文, 主要内容为随着我国肉鸡产业的快速发展,集约化、规模化养殖水平得到不断提高,而在生产过程中由于养殖密度过大、管理不当、疫情等因素导致肉鸡腿病多发,制约了肉鸡的日常行为活动和生产效益。目前,对于肉鸡腿病的早期诊断,以人眼观察为主,耗时耗力,且主观性强。采用现代化技术手段来实现肉鸡腿病的自动检测,有利于提高肉鸡福利化养殖水平,减少疾病导致的经济损失。本文根据肉鸡养殖生产需要,以白羽肉鸡为研究对象,利用红外热成像技术、传感器技术、神经网络模型等设计了一种肉鸡腿部异常识别预警系统,该系统集成的算法模型可用于数据挖掘,自动检测并存储肉鸡腿部异常信息,通过WEB平台实现数据可视化管理。主要研究内容如下:(1)肉鸡腿部异常检测硬件系统设计:选用海康威视TB-1217A-3/PA热成像摄像机采集红外热图像与温度数据,设计基于NB-Io T技术的鸡舍环境信息感知系统,以实现鸡舍内环境温度、相对湿度及光照强度的实时监测,并通过网关将数据上传至云服务器。(2)肉鸡腿部温度反演模型研究:利用YOLOv4目标检测算法识别肉鸡感兴趣区域(Region of Interest,ROI),通过提取ROI温度,并结合环境因子,建立肉鸡腿部温度反演模型,对比了多元线性回归和KNN回归两种模型,平均相对误差分别为0.71%和0.43%,最终选择KNN回归作为温度预测模型。(3)肉鸡腿部异常分类识别模型研究:采用OSTU自适应阈值分割算法对红外热图像进行二值化处理,通过提取姿态特征并结合温度特征,建立了基于随机森林(Random Forest,RF)的肉鸡腿部异常分类识别模型,模型在正常、轻微异常、中度异常三个分类等级的识别准确率依次为97%、91%和94%,总体准确率为96%,通过不同模型对比,RF模型表现最优。(4)肉鸡腿部异常检测应用端系统实现:根据系统功能需求,采用My SQL数据库统一存储和管理环境监测信息、肉鸡腿部异常信息及管理员信息,基于Java开发的中间件可对多个文件夹执行监听、读取、处理等任务,基于轻量级框架Spring Boot开发了WEB后台服务,利用Java Script、HTML等技术进行WEB前端设计,通过引入Highcharts、Echarts等图表插件实现了数据的多样化展示,测试结果表明该系统具有良好的承载能力,可在生产环境中稳定运行。

A Movie Recommendation System Based on Hybrid Double Clustering

这是一篇关于KNN,双重聚类,协同过滤,SVD,个性化推荐系统的论文, 主要内容为移动互联网的发展给人们的生活带来了巨大的便利。互联网上存在大量的信息可以供用户参考和查阅。然而信息量的快速增加也带来了一些问题。用户想从种类繁多的信息中快速找到自己需要的信息变得非常困难,导致大量的资源不能得到充分的利用,利用率降低。为了解决这些问题,个性化推荐系统应运而生。在互联网的各种应用中,推荐系统扮演着技术驱动的角色。目前主流的电子商务推荐系统大多使用协同过滤算法实现个性化推荐。它根据用户的喜好以及历史评分数据,挖掘出用户可能喜欢的内容并生成推荐。协同过滤推荐算法为电子商务个性化推荐系统的发展做出了重要的贡献。然而,协同过滤算法也存在一定的缺点,包括数据稀疏性和冷启动的问题。这些问题一直制约着推荐制度的实践。尤其是在当今大数据的情况下,这些问题变得更加突出。协同过滤算法主要是利用用户对商品的评分,通过计算相似度找到相似物品,然后进行推荐。然而在大数据的情况下,物品越来越多,用户越来越多,但每个用户可能仅仅对几个项目进行了评价。尽管一些用户拥有比较多的评分信息,但对于整个数据矩阵来说,它仍然太少了。因而用户-评分矩阵在典型情况下都是稀疏的。例如在淘宝、亚马逊、当当网等典型的利用个性化推荐技术的网站中,用户的评分项目数量最多仅仅占数据库中上百万物品的百分之一,由此可见,评分矩阵数据相当稀疏,使得在推荐过程中难以找到相似用户集,降低了预测的准确度。所以目前协同过滤算法需要解决矩阵的稀疏性问题。同时由于信息数据更新速度加快,每时每刻都有很多的新用户和新项目加入到系统当中,但是由于系统没有这些新用户和新项目的历史数据所以无法进行推荐,从而导致了冷启动问题。为了解决以上问题,本文以电影推荐为目标,在前人研究的基础上,提出了提高推荐效果的创新方法。本文主要的工作包括:1)为了解决数据稀疏性的问题,我们提出了一种基于KNN、SVD和双重聚类的协同过滤算法KSDC-CF。该混合算法的具体思想是将KNN,SVD和双重聚类算法与传统的协同过滤算法进行融合,以便达到提升推荐准确度,降低稀疏性的目的。首先我们对数据进行预处理,建立用户-项目评分矩阵。我们通过分析用户和项目的相关已知属性以及用户对项目的评分等信息,获得用户-项目评分矩阵作为整个个性化推荐算法的输入。之后我们使用KNN算法对原始矩阵进行填充,我们将数据集分为测试级和训练集。将测试集中数据的特征与训练集中数据的特征作比较,并找出在训练集中具有最大相似性的前k个数据。该k个数据中大多数数据所属的类别即是测试数据的类别。之后我们使用SVD技术对矩阵进行降维处理,将高维矩阵转化成低维矩阵从而使得矩阵的数据更加稠密,降低了数据稀疏性。然后根据我们得到的矩阵,我们分别使用基于项目和基于用户的聚类方法。将两种方法综合起来可以充分考虑到项目和用户的类别相似性。然后使用协同过滤算法,在聚类中找到最相似的项目或用户(最近邻居),并根据最近邻居给出预测评分,最后综合选择前n个项目进行推荐。为了验证本文提出的算法的有效性,我们在公开的数据集movielens上进行实验,该数据集包括943个用户和1682部电影,包含100000条评分信息。数据稀疏度为93.7%。实验采用MAE值作为准确度评估标准。我们将实验分为两部分。第一部分是通过实验确定算法中的各个参数,包括填充维度,奇异矩阵分解维度,项目聚类数目,用户聚类数目和相似度计算方法。确定各参数后,第二部分我们将该算法与传统的协同过滤算法,基于用户聚类的协同过滤算法和基于项目聚类的协同过滤算法进行对比,并在不同的稀疏度情况下进行比较。结果表明,该方法提高了对Movielens数据集的预测精度,显著降低了预测误差,对于解决数据稀疏性有一定的效果。2)为了解决冷启动问题,在第三章中我们将双重聚类的协同过滤算法与基于内容的推荐算法进行融合,提出了基于内容的混合协同过滤算法CHCF。尽管基于内容的推荐算法存在无法很好地处理非结构化数据的问题,但它具有直观性强,适应性强的优点。最重要的一点是它根据内容的属性生成推荐。虽然并非每个项目都有评分,但每个项目甚至每个用户都有某些属性,即具有某个“标记”。因此基于内容的推荐算法对新用户和新项目具有非常好的推荐效果。该混合算法可以在一定程度上解决冷启动问题并且大大降低数据稀疏性。该算法的设计分为四个部分。第一部分是基于内容的数据处理:通过组合项目属性信息和用户历史评分信息,获得用户对项目的不同特征属性的评分矩阵。并且通过用户属性标签处理,形成用户特征矩阵。这两个矩阵用作混合算法的输入部分。第二部分是聚类:我们使用用户-项目属性评分矩阵代替传统矩阵,并根据用户喜欢的项目属性对具有相同特征偏好的用户进行聚类。对于电影类别具有相同特征喜好的用户将分配到同一类别中,然后通过计算生成聚类中心。同时我们将数据处理后得到的用户特征矩阵基于用户的属性进行聚类。第三部分是协同过滤推荐:当使用协同过滤推荐时,首先确定目标用户偏好的特征类型,然后计算与所有聚类中心的相似度,通过这种方法我们就可以确定目标用户所在的聚类并找到k个最近邻居。第四部分是生成推荐:根据最近邻居生成目标用户的推荐。对于新用户来说,我们认为具有相同特征的用户具有相似偏好,并在这一理论基础上进行推荐设计。对于新用户来说,我们不知道他的历史电影类别偏好,但是我们可以通过用户特征矩阵进行推荐,本文所考虑的用户特征包括用户年龄,性别,职业和邮编(地址)。因此,根据用户特征聚类,我们可以确定目标用户属于哪个类别。找到具有最相似特征的K个邻居。对于新项目来说,基于内容的混合算法也可以使得新项目按照特征得到推送。为了验证本文提出的算法的有效性,我们采用实验的方法,在公开的数据集movielens上进行实验。实验同样分为两部分,第一部分确定实验中的各参数的值,包括相似度计算方法,聚类数目以及各个特征属性所占的权重。第二部分我们将该算法生成的结果与传统的推荐算法的结果进行比较。实验结果表明,该算法对于提升推荐准确率,解决冷启动问题有一定的效果。3)在算法研究的基础上,本文设计和实现了一个个性化电影推荐系统。系统使用Python语言并且基于Django框架进行开发,使用SQILite进行数据的存储。我们使用movielens数据集作为该电影推荐系统的数据源。数据库表结构的设计类似于movielens,主要分为三个表。用户信息表中存储包括用户名,用户性别等基本信息。电影信息表中存储电影的相关信息,包括电影的类别,moviename,movieid和相关链接。我们使用评分表来存储用户关于电影的评分和评估数据。主要的工作内容包括需求分析,算法实现,数据库的设计和系统框架的设计。系统的设计主要包括用户系统和管理员系统。用户系统的功能设计主要包括:a)注册登录:新用户注册时采集用户的性别,邮政编码(地区),年龄,职业等信息。根据这些信息计算用户相似性来对新用户进行推荐,可以解决新用户的冷启动问题。已有账号的用户可以直接通过账号密码登录。b)热门电影推荐:统计数据库中拥有最多用户评分的电影,标记为热门电影,推荐给用户。c)个性化推荐电影:根据上述改进的算法生成电影推荐,点击电影名称将跳转到movielens网站查看影片详细介绍,右侧显示详细评分按钮,可以快速对影片进行评分。d)我的个人中心:个人中心中显示个人信息,以及相关的数据来源等。e)历史评分记录:用户可以在这一模块中查看自己的历史电影评分数据,也可以对评分进行更改。f)首页显示所有电影类别,用户可以通过点击自己感兴趣的电影类别,查找自己可能感兴趣的电影。同时网站支持全局搜索功能,用户可以通过输入影片名称直接搜索目标电影。管理员系统的功能主要包括两部分,管理员可以增加或删除用户和影片。文中展示了系统的具体运行效果。