以就业为导向的中职计算机教学资源平台的设计与实现
这是一篇关于中职计算机教学资源平台,JSP,Nutch,中文分词,就业资讯的论文, 主要内容为随着全球互联网技术的兴起与迅猛发展,中国网络使用者日益增多,使得基于网络环境下的教育信息化得到了前所未有的推进,同时多样化的网络信息服务为学习者提供了极大的便捷。如此繁多的网络资源并不能完全适合中职生这一特殊的人群。如何使学生既获得自己感兴趣的课程资源,又可以与就业紧密的联系在一起,成为所有职业教育相关人员都密切关注的问题。鉴于此,本系统将垂直搜索引擎与资源平台进行了融合。本系统采用B/S模式,使用JSP框架进行开发,通过Flash Paper和FMS技术实现资源的查看与在线播放,通过RandomAccessFile类提供的功能实现文件的上传,通过内置对象response调用setHeader方法实现资源下载,通过Nutch+JE分词技术获得就业资讯。在Nutch基础之上对爬虫进行最初的种子集及打开线程数设置,来满足本系统查询;通过实验对比目前比较常见的中文分词技术的分词性能,选定将JE分词器植入系统当中用以实现计算机专业就业资讯的相关匹配检索。最终实现的以就业为导向的中职计算机教学资源平台分为用户登录模块、资源服务模块、交流模块和后台数据库管理模块。经测试表明,本系统实现了不同用户进行不同操作、课件资源上传下载、提出问题、回复留言、管理资源的各种功能,具有良好的交互性及实用性。
基于Nutch的分布式爬虫研究与优化
这是一篇关于Nutch,爬虫,Hadoop,Proxy IP,网页更新预测,DBSCAN算法,Map Reduce,泊松过程的论文, 主要内容为随着大数据时代的到来,互联网上的数据正在迅速膨胀并变大,数据的采集速度越来越不能满足实际需要。爬虫系统需要抓取的网页数量巨大,如何高效、稳定地抓取网页非常重要。网页分布广及动态变化也使爬虫系统很难保持本地网页时新性,爬虫需要及时更新本地网页,避免网页失效。本文对Nutch爬虫进行改进,将改进后的Nutch和Hadoop分布式平台结合,设计高效、可靠的分布式爬虫系统。主要研究成果如下:1、Nutch和Hadoop分布式平台结合Nutch单机运行时,受限于单台机器存储及运算性能,且易发生单点故障,稳定性差。我们借助Hadoop分布式平台的优点,将Nutch运行的各个步骤提交给Hadoop,使用Map Reduce分布式计算完成,并将数据存储在HDFS上。我们分别对Nutch单机模式和Nutch分布式模式进行实验,实验结果表明:对比单机模式,分布式模式随着集群中节点的增多,Nutch爬行的性能会线性增长;数据安全性提高,可靠性增强,节点间负载均衡。2、提出Proxy IP动态更换模块在详细分析Nutch抓取网页数据的工作流程后,发现当一个网站有以IP为依据的访问检测机制时,Nutch大规模访问很容易被禁止。针对这个问题,提出Proxy IP动态更换模块,与Nutch系统结合,在Nutch爬行被禁止时,更换Proxy IP,使Nutch能继续爬行。经过测试,Nutch的爬虫被禁止爬行得到有效解决。3、网页更新预测优化Nutch有网页更新模块,但网页更新的参数需要人为设定,且对所有网页有效,很难适应海量网页的差异化。本文提出动态选择策略来预测网页更新周期。在网页更新历史数据不足时,通过基于Map Reduce的DBSCAN聚类算法来减少爬虫系统抓取网页数量,将样本网页的更新周期作为所属类其它网页的更新周期;在网页更新历史数据较多时,通过对网页更新历史数据进行泊松过程建模较准确地预测每个网页的更新周期。实验表明,动态选择策略节约了爬虫的抓取资源,且能较准确预测网页的更新周期。
基于Nutch的分布式爬虫研究与优化
这是一篇关于Nutch,爬虫,Hadoop,Proxy IP,网页更新预测,DBSCAN算法,Map Reduce,泊松过程的论文, 主要内容为随着大数据时代的到来,互联网上的数据正在迅速膨胀并变大,数据的采集速度越来越不能满足实际需要。爬虫系统需要抓取的网页数量巨大,如何高效、稳定地抓取网页非常重要。网页分布广及动态变化也使爬虫系统很难保持本地网页时新性,爬虫需要及时更新本地网页,避免网页失效。本文对Nutch爬虫进行改进,将改进后的Nutch和Hadoop分布式平台结合,设计高效、可靠的分布式爬虫系统。主要研究成果如下:1、Nutch和Hadoop分布式平台结合Nutch单机运行时,受限于单台机器存储及运算性能,且易发生单点故障,稳定性差。我们借助Hadoop分布式平台的优点,将Nutch运行的各个步骤提交给Hadoop,使用Map Reduce分布式计算完成,并将数据存储在HDFS上。我们分别对Nutch单机模式和Nutch分布式模式进行实验,实验结果表明:对比单机模式,分布式模式随着集群中节点的增多,Nutch爬行的性能会线性增长;数据安全性提高,可靠性增强,节点间负载均衡。2、提出Proxy IP动态更换模块在详细分析Nutch抓取网页数据的工作流程后,发现当一个网站有以IP为依据的访问检测机制时,Nutch大规模访问很容易被禁止。针对这个问题,提出Proxy IP动态更换模块,与Nutch系统结合,在Nutch爬行被禁止时,更换Proxy IP,使Nutch能继续爬行。经过测试,Nutch的爬虫被禁止爬行得到有效解决。3、网页更新预测优化Nutch有网页更新模块,但网页更新的参数需要人为设定,且对所有网页有效,很难适应海量网页的差异化。本文提出动态选择策略来预测网页更新周期。在网页更新历史数据不足时,通过基于Map Reduce的DBSCAN聚类算法来减少爬虫系统抓取网页数量,将样本网页的更新周期作为所属类其它网页的更新周期;在网页更新历史数据较多时,通过对网页更新历史数据进行泊松过程建模较准确地预测每个网页的更新周期。实验表明,动态选择策略节约了爬虫的抓取资源,且能较准确预测网页的更新周期。
以就业为导向的中职计算机教学资源平台的设计与实现
这是一篇关于中职计算机教学资源平台,JSP,Nutch,中文分词,就业资讯的论文, 主要内容为随着全球互联网技术的兴起与迅猛发展,中国网络使用者日益增多,使得基于网络环境下的教育信息化得到了前所未有的推进,同时多样化的网络信息服务为学习者提供了极大的便捷。如此繁多的网络资源并不能完全适合中职生这一特殊的人群。如何使学生既获得自己感兴趣的课程资源,又可以与就业紧密的联系在一起,成为所有职业教育相关人员都密切关注的问题。鉴于此,本系统将垂直搜索引擎与资源平台进行了融合。本系统采用B/S模式,使用JSP框架进行开发,通过Flash Paper和FMS技术实现资源的查看与在线播放,通过RandomAccessFile类提供的功能实现文件的上传,通过内置对象response调用setHeader方法实现资源下载,通过Nutch+JE分词技术获得就业资讯。在Nutch基础之上对爬虫进行最初的种子集及打开线程数设置,来满足本系统查询;通过实验对比目前比较常见的中文分词技术的分词性能,选定将JE分词器植入系统当中用以实现计算机专业就业资讯的相关匹配检索。最终实现的以就业为导向的中职计算机教学资源平台分为用户登录模块、资源服务模块、交流模块和后台数据库管理模块。经测试表明,本系统实现了不同用户进行不同操作、课件资源上传下载、提出问题、回复留言、管理资源的各种功能,具有良好的交互性及实用性。
基于Nutch的面向IT科技博客的垂直搜索引擎的研究与实现
这是一篇关于个性化垂直搜索引擎,NaiveBayes,Nutch,Solr,主题爬虫的论文, 主要内容为互联网日新月异的发展使得网络上存储的资源越来越多,网页文本、音乐、图片、视频等形式各异的资源充斥其中,难以快速精准的从中找到自己想要的信息资源。这种需求催生了垂直搜索引擎的快速发展。本文首先研究了垂直搜索引擎发展的历史和趋势,之后详细的研究了垂直搜索引擎中涉及到的各种技术,设计并实现了一个面向博客领域的个性化垂直搜索引擎。本文的主要工作主要包括以下几个方面:(1)分析并对比了通用网络爬虫和垂直网络爬虫的系统架构和基本原理,对主题判定算法进行了研究,归纳了用户的搜索行为对垂直搜索引擎产生的反馈作用,研究并归纳了常见加密算法的性能和特征;(2)设计并实现了一个基于Nutch的分布式主题爬虫模块。首先详细分析了 Nutch的架构和工作原理,提出了一种能够将通用爬虫Nutch改造成垂直网络爬虫的方案。然后基于朴素贝叶斯文本分类算法实现了贝叶斯文本分类插件,在贝叶斯文本分类插件工作过程中加入了 URL主题判定模块,加深了 Nutch的爬行深度,并利用Nutch的插件机制将其引入到Nutch的工作流中,将通用爬虫Nutch改造成为垂直网络爬虫;(3)设计并实现了一个基于Solr的个性化用户查询模块。首先研究了用户搜索行为信息对用户搜索可能造成的影响,设计了一个基于Solr的个性化用户查询模块,该模块能够将用户的搜索行为收集入库,利用向量空间模型算法从中分析出用户的兴趣模型,并根据兴趣模型对用户的当前查询做出查询扩展,将Solr改造成为个性化查询模块;(4)在设计个性化用户查询模块时,考虑到对用户隐私的保护,采用安全套接层协议SSL对用户行为信息进行传输,然后利用数据库加解密模块对用户的行为信息进行AES加密,并将加密后的数据存储到数据库中,保护了用户的隐私安全;(5)设计并实现了基于Nutch的面向IT科技博客领域的垂直搜索引擎,并对搜索引擎进行了相关实验。实验表明,本文提出的设计方案是有效的,虽然为了实现主题过滤功能,爬虫的爬取效率有所降低,但是相较于原有的Nutch系统和通用搜索引擎百度,查准率得到了较大的提升。
以就业为导向的中职计算机教学资源平台的设计与实现
这是一篇关于中职计算机教学资源平台,JSP,Nutch,中文分词,就业资讯的论文, 主要内容为随着全球互联网技术的兴起与迅猛发展,中国网络使用者日益增多,使得基于网络环境下的教育信息化得到了前所未有的推进,同时多样化的网络信息服务为学习者提供了极大的便捷。如此繁多的网络资源并不能完全适合中职生这一特殊的人群。如何使学生既获得自己感兴趣的课程资源,又可以与就业紧密的联系在一起,成为所有职业教育相关人员都密切关注的问题。鉴于此,本系统将垂直搜索引擎与资源平台进行了融合。本系统采用B/S模式,使用JSP框架进行开发,通过Flash Paper和FMS技术实现资源的查看与在线播放,通过RandomAccessFile类提供的功能实现文件的上传,通过内置对象response调用setHeader方法实现资源下载,通过Nutch+JE分词技术获得就业资讯。在Nutch基础之上对爬虫进行最初的种子集及打开线程数设置,来满足本系统查询;通过实验对比目前比较常见的中文分词技术的分词性能,选定将JE分词器植入系统当中用以实现计算机专业就业资讯的相关匹配检索。最终实现的以就业为导向的中职计算机教学资源平台分为用户登录模块、资源服务模块、交流模块和后台数据库管理模块。经测试表明,本系统实现了不同用户进行不同操作、课件资源上传下载、提出问题、回复留言、管理资源的各种功能,具有良好的交互性及实用性。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：毕设工坊 ，原文地址：https://m.bishedaima.com/lunwen/53656.html
