基于J2EE的数据挖掘系统的构建及聚类技术研究
这是一篇关于数据挖掘,聚类,K-Means算法,DBSCAN算法的论文, 主要内容为随着数据库技术的发展和存储能力的提高,越来越多的数据被存储起来,而如何在这些海量的数据中寻找真正所需要的知识显得尤为重要。数据挖掘作为一个多学科的交叉学科,能够在海量数据中发现有用的模式和规则,是将数据转化为知识的重要手段。聚类技术作为数据挖掘的一个研究热点,可以作为独立工具发现数据结构,也可以作为其它方法的预处理手段以得到更好的聚类。 本文利用J2EE技术构建了一个基于Web的数据挖掘系统,并研究了聚类技术中的K-Means算法和DBSCAN算法,取得的主要成果如下:针对当前对B/S结构数据挖掘系统的需求,有机的融合了当今比较流行且可用性很高的Spring Framework,Hibernate,JSF框架和技术,设计了具有良好人机界面的基于Web的数据挖掘系统;研究并实现了K-Means算法和DBSCAN算法,针对K-Means算法中初始质心的随机选择可能导致局部收敛的情况改进了K-Means算法,利用本文提出的方法计算初始质心能够获得较好的聚类;实现了系统中数据对象和挖掘结果的可视化,利于对数据和挖掘结果有一个直观的印象,方便观察数据结构获得领域知识和理解挖掘结果。 本系统是跨平台、J2EE容器无关的,具有良好的可扩展性、易用性、可维护性和安全性的,具有高度模块化结构,实现了从大量的、不完全的、有噪声的、模糊的、随机的各种数据中提取隐含在其中的、人们事先不知道的、但又潜在有用的信息和知识的功能。
基于J2EE的数据挖掘系统的构建及聚类技术研究
这是一篇关于数据挖掘,聚类,K-Means算法,DBSCAN算法的论文, 主要内容为随着数据库技术的发展和存储能力的提高,越来越多的数据被存储起来,而如何在这些海量的数据中寻找真正所需要的知识显得尤为重要。数据挖掘作为一个多学科的交叉学科,能够在海量数据中发现有用的模式和规则,是将数据转化为知识的重要手段。聚类技术作为数据挖掘的一个研究热点,可以作为独立工具发现数据结构,也可以作为其它方法的预处理手段以得到更好的聚类。 本文利用J2EE技术构建了一个基于Web的数据挖掘系统,并研究了聚类技术中的K-Means算法和DBSCAN算法,取得的主要成果如下:针对当前对B/S结构数据挖掘系统的需求,有机的融合了当今比较流行且可用性很高的Spring Framework,Hibernate,JSF框架和技术,设计了具有良好人机界面的基于Web的数据挖掘系统;研究并实现了K-Means算法和DBSCAN算法,针对K-Means算法中初始质心的随机选择可能导致局部收敛的情况改进了K-Means算法,利用本文提出的方法计算初始质心能够获得较好的聚类;实现了系统中数据对象和挖掘结果的可视化,利于对数据和挖掘结果有一个直观的印象,方便观察数据结构获得领域知识和理解挖掘结果。 本系统是跨平台、J2EE容器无关的,具有良好的可扩展性、易用性、可维护性和安全性的,具有高度模块化结构,实现了从大量的、不完全的、有噪声的、模糊的、随机的各种数据中提取隐含在其中的、人们事先不知道的、但又潜在有用的信息和知识的功能。
基于J2EE的数据挖掘系统的构建及聚类技术研究
这是一篇关于数据挖掘,聚类,K-Means算法,DBSCAN算法的论文, 主要内容为随着数据库技术的发展和存储能力的提高,越来越多的数据被存储起来,而如何在这些海量的数据中寻找真正所需要的知识显得尤为重要。数据挖掘作为一个多学科的交叉学科,能够在海量数据中发现有用的模式和规则,是将数据转化为知识的重要手段。聚类技术作为数据挖掘的一个研究热点,可以作为独立工具发现数据结构,也可以作为其它方法的预处理手段以得到更好的聚类。 本文利用J2EE技术构建了一个基于Web的数据挖掘系统,并研究了聚类技术中的K-Means算法和DBSCAN算法,取得的主要成果如下:针对当前对B/S结构数据挖掘系统的需求,有机的融合了当今比较流行且可用性很高的Spring Framework,Hibernate,JSF框架和技术,设计了具有良好人机界面的基于Web的数据挖掘系统;研究并实现了K-Means算法和DBSCAN算法,针对K-Means算法中初始质心的随机选择可能导致局部收敛的情况改进了K-Means算法,利用本文提出的方法计算初始质心能够获得较好的聚类;实现了系统中数据对象和挖掘结果的可视化,利于对数据和挖掘结果有一个直观的印象,方便观察数据结构获得领域知识和理解挖掘结果。 本系统是跨平台、J2EE容器无关的,具有良好的可扩展性、易用性、可维护性和安全性的,具有高度模块化结构,实现了从大量的、不完全的、有噪声的、模糊的、随机的各种数据中提取隐含在其中的、人们事先不知道的、但又潜在有用的信息和知识的功能。
基于Nutch的分布式爬虫研究与优化
这是一篇关于Nutch,爬虫,Hadoop,Proxy IP,网页更新预测,DBSCAN算法,Map Reduce,泊松过程的论文, 主要内容为随着大数据时代的到来,互联网上的数据正在迅速膨胀并变大,数据的采集速度越来越不能满足实际需要。爬虫系统需要抓取的网页数量巨大,如何高效、稳定地抓取网页非常重要。网页分布广及动态变化也使爬虫系统很难保持本地网页时新性,爬虫需要及时更新本地网页,避免网页失效。本文对Nutch爬虫进行改进,将改进后的Nutch和Hadoop分布式平台结合,设计高效、可靠的分布式爬虫系统。主要研究成果如下:1、Nutch和Hadoop分布式平台结合Nutch单机运行时,受限于单台机器存储及运算性能,且易发生单点故障,稳定性差。我们借助Hadoop分布式平台的优点,将Nutch运行的各个步骤提交给Hadoop,使用Map Reduce分布式计算完成,并将数据存储在HDFS上。我们分别对Nutch单机模式和Nutch分布式模式进行实验,实验结果表明:对比单机模式,分布式模式随着集群中节点的增多,Nutch爬行的性能会线性增长;数据安全性提高,可靠性增强,节点间负载均衡。2、提出Proxy IP动态更换模块在详细分析Nutch抓取网页数据的工作流程后,发现当一个网站有以IP为依据的访问检测机制时,Nutch大规模访问很容易被禁止。针对这个问题,提出Proxy IP动态更换模块,与Nutch系统结合,在Nutch爬行被禁止时,更换Proxy IP,使Nutch能继续爬行。经过测试,Nutch的爬虫被禁止爬行得到有效解决。3、网页更新预测优化Nutch有网页更新模块,但网页更新的参数需要人为设定,且对所有网页有效,很难适应海量网页的差异化。本文提出动态选择策略来预测网页更新周期。在网页更新历史数据不足时,通过基于Map Reduce的DBSCAN聚类算法来减少爬虫系统抓取网页数量,将样本网页的更新周期作为所属类其它网页的更新周期;在网页更新历史数据较多时,通过对网页更新历史数据进行泊松过程建模较准确地预测每个网页的更新周期。实验表明,动态选择策略节约了爬虫的抓取资源,且能较准确预测网页的更新周期。
基于J2EE的数据挖掘系统的构建及聚类技术研究
这是一篇关于数据挖掘,聚类,K-Means算法,DBSCAN算法的论文, 主要内容为随着数据库技术的发展和存储能力的提高,越来越多的数据被存储起来,而如何在这些海量的数据中寻找真正所需要的知识显得尤为重要。数据挖掘作为一个多学科的交叉学科,能够在海量数据中发现有用的模式和规则,是将数据转化为知识的重要手段。聚类技术作为数据挖掘的一个研究热点,可以作为独立工具发现数据结构,也可以作为其它方法的预处理手段以得到更好的聚类。 本文利用J2EE技术构建了一个基于Web的数据挖掘系统,并研究了聚类技术中的K-Means算法和DBSCAN算法,取得的主要成果如下:针对当前对B/S结构数据挖掘系统的需求,有机的融合了当今比较流行且可用性很高的Spring Framework,Hibernate,JSF框架和技术,设计了具有良好人机界面的基于Web的数据挖掘系统;研究并实现了K-Means算法和DBSCAN算法,针对K-Means算法中初始质心的随机选择可能导致局部收敛的情况改进了K-Means算法,利用本文提出的方法计算初始质心能够获得较好的聚类;实现了系统中数据对象和挖掘结果的可视化,利于对数据和挖掘结果有一个直观的印象,方便观察数据结构获得领域知识和理解挖掘结果。 本系统是跨平台、J2EE容器无关的,具有良好的可扩展性、易用性、可维护性和安全性的,具有高度模块化结构,实现了从大量的、不完全的、有噪声的、模糊的、随机的各种数据中提取隐含在其中的、人们事先不知道的、但又潜在有用的信息和知识的功能。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码客栈 ，原文地址：https://m.bishedaima.com/lunwen/52111.html
