并行网络爬虫设计与实现
这是一篇关于并行网络爬虫,Map/Reduce,HttpClient,URL消重,DNS的论文, 主要内容为伴随着计算机、通信、网络等技术的成熟和广泛应用,互联网自1989年诞生以来得到了迅猛发展,已经成为现代人类社会信息资源的一个重要组成部分,在全球范围内越来越多的信息实体开始选择互联网为其主要载体。如何帮助用户快速找到需要的信息,成为互联网研究中一项重要的课题。为了帮助互联网用户有效地通过互联网检索信息,一种称之为搜索引擎的网络信息检索工具应运而生,为用户及其所需信息之间架起了一座沟通的桥梁。而网络爬虫作为搜索引擎核心部分,为搜索引擎的功能实现奠定了基石。 本文设计并实现了一个基于Map/Reduce：分布式计算模型)并行计算模型的并行网络爬虫,实现了负责任务分配的Master模块,以及负责执行网页抓取任务的Worker模块,在Worker模块中实现了通用的Crawler模块,设计了DNS缓冲结构,并且为了提高网页抓取的效率,加入了URL消重功能。 本文首先介绍了HTTP协议,HttpClient组件的功能,URL消重,DNS缓冲策略等相关知识。其次介绍了本文用到的并行计算技术,并对并行网络爬虫系统的各个重要组成部分所实现的功能进行了分析与设计,最后对网页URL消重算法和并行爬行效率分别进行性能测试。测试结果说明本文所设计的并行爬虫系统有较好的爬行性能。最后对并行网络爬虫做了总结和展望。
企业DNS系统的设计与实现
这是一篇关于DNS,BIND,工单,Spring MVC的论文, 主要内容为DNS(Domain Name System,域名系统)是互联网提供的重要服务之一,作为互联网海洋中指引方向的导航仪,其重要性也随着互联网的蓬勃发展而越来越明显。对于企业而言,DNS是其信息通信基础设施,保障着企业业务的正常运行。而随着企业内部网络的日渐壮大,对于更加安全并且稳定的DNS服务的需求也日益增加。在这个背景下,市面上涌现出许多第三方域名服务平台。第三方平台虽然能够满足企业对于DNS服务的大部分需求,但其固化的功能模式带来的不方便、复杂的用户群体造成的不安全等问题让企业们纷纷望而却步。基于第三方平台所带来的众多不确定因素,作者所在的公司希望将DNS服务从第三方平台迁回公司内部运维平台中,开发一个符合公司运维特色的DNS系统。在该系统中,除了可以进行基本的DNS操作外,还根据实际需要,将DNS操作与运维工单相结合,保证运维流程的规范性和完整性。此外还将运维人员对于服务器、IP等的管理需求加入到系统中,并且对系统的各个功能进行了严格的权限控制。本系统采用B/S(Browser/Server,浏览器/服务器)结构,基于Spring、Spring MVC、MyBatis开发框架,在对DNS的处理上主要采用的是开源的DNS服务软件BIND(Berkeley Internet Name Domain),并采用Snaker工作流引擎对系统涉及的工单流程进行控制。本系统分为工单管理、域管理、DNS记录管理、服务器管理、IP管理以及权限管理六个模块,由业务处理子系统和网络服务子系统两部分共同实现。作者参与了该系统整体的需求分析、架构设计、数据库设计及接口设计,在详细设计与实现阶段完成了对业务处理子系统的设计和开发,并在测试阶段参与了系统的部分测试。本文充分结合软件工程理论,借助统一建模语言,对系统的需求进行了分析。通过对系统业务逻辑进行梳理,提出了系统的架构设计方案,并着重对作者负责的部分的实现过程进行了详细的描述。该系统目前已经完成全部的开发,处于试运行阶段,并且在根据试运行效果和反馈不断地进行更新和优化,逐步完善系统的功能并且提高其使用性能。作者所负责的部分运行稳定,基本实现了预期的目标。
并行网络爬虫设计与实现
这是一篇关于并行网络爬虫,Map/Reduce,HttpClient,URL消重,DNS的论文, 主要内容为伴随着计算机、通信、网络等技术的成熟和广泛应用,互联网自1989年诞生以来得到了迅猛发展,已经成为现代人类社会信息资源的一个重要组成部分,在全球范围内越来越多的信息实体开始选择互联网为其主要载体。如何帮助用户快速找到需要的信息,成为互联网研究中一项重要的课题。为了帮助互联网用户有效地通过互联网检索信息,一种称之为搜索引擎的网络信息检索工具应运而生,为用户及其所需信息之间架起了一座沟通的桥梁。而网络爬虫作为搜索引擎核心部分,为搜索引擎的功能实现奠定了基石。 本文设计并实现了一个基于Map/Reduce：分布式计算模型)并行计算模型的并行网络爬虫,实现了负责任务分配的Master模块,以及负责执行网页抓取任务的Worker模块,在Worker模块中实现了通用的Crawler模块,设计了DNS缓冲结构,并且为了提高网页抓取的效率,加入了URL消重功能。 本文首先介绍了HTTP协议,HttpClient组件的功能,URL消重,DNS缓冲策略等相关知识。其次介绍了本文用到的并行计算技术,并对并行网络爬虫系统的各个重要组成部分所实现的功能进行了分析与设计,最后对网页URL消重算法和并行爬行效率分别进行性能测试。测试结果说明本文所设计的并行爬虫系统有较好的爬行性能。最后对并行网络爬虫做了总结和展望。
基于J2EE的DNS域名web管理开发平台
这是一篇关于跨平台开发,DNS,域名web管理,J2EE,关系数据库的论文, 主要内容为随着互联网的蓬勃发展,域名的爆炸式增长,针对域名服务管理软件的开发势在必行。 基于windows NT域名服务器的配置操作简单,但是目前90%的大型域名系统都采用UNIX操作系统,而使用BIND域名管理软件几乎是UNIX系统下的唯一实现。但是,在UNIX系统环境下对BIND进行相关的域名操作是一件相当烦琐的事情,并且随着BIND功能的日益强大,缺点也随之越发明显。因此开发一套基于BIND以及UNIX的域名服务器的web管理平台,提高域名服务器的性能,简化操作步骤,降低操作难度,让普通的管理人员就可以操作域名服务器,具有很重要的实际意义。 Solaris是当今世界上最为强大、最为安全的UNIX操作系统。论文在深入了解BIND、Solaris的系统接口的基础之上,实现了Bind在Solaris下的配置,并且研究了Sping、Hibernate、webwork的轻量级J2EE架构的跨平台系统开发与跨平台系统部署;在深入研究了BIND实现DNS服务时主要的原理及配置文件的基础上,实现了如何通过关系数据库来连接管理BIND域名数据。 利用关系型数据库MySQL、TCP/IP网络通信协议、采用Sping、Hibemate、Webwork的轻量级J2EE架构技术实现了“基于BIND及Solaris的DNS域名web管理开发平台”,系统可对BIND数据通过web页面进行管理,从而大量的简化了BIND的操作,大大方便了域名管理,具有非常大的实际意义与使用意义。 本论文针对山东商务职业学院网络域名管理的需求,设计实现了一个基于J2EE的域名管理系统。
并行网络爬虫设计与实现
这是一篇关于并行网络爬虫,Map/Reduce,HttpClient,URL消重,DNS的论文, 主要内容为伴随着计算机、通信、网络等技术的成熟和广泛应用,互联网自1989年诞生以来得到了迅猛发展,已经成为现代人类社会信息资源的一个重要组成部分,在全球范围内越来越多的信息实体开始选择互联网为其主要载体。如何帮助用户快速找到需要的信息,成为互联网研究中一项重要的课题。为了帮助互联网用户有效地通过互联网检索信息,一种称之为搜索引擎的网络信息检索工具应运而生,为用户及其所需信息之间架起了一座沟通的桥梁。而网络爬虫作为搜索引擎核心部分,为搜索引擎的功能实现奠定了基石。 本文设计并实现了一个基于Map/Reduce：分布式计算模型)并行计算模型的并行网络爬虫,实现了负责任务分配的Master模块,以及负责执行网页抓取任务的Worker模块,在Worker模块中实现了通用的Crawler模块,设计了DNS缓冲结构,并且为了提高网页抓取的效率,加入了URL消重功能。 本文首先介绍了HTTP协议,HttpClient组件的功能,URL消重,DNS缓冲策略等相关知识。其次介绍了本文用到的并行计算技术,并对并行网络爬虫系统的各个重要组成部分所实现的功能进行了分析与设计,最后对网页URL消重算法和并行爬行效率分别进行性能测试。测试结果说明本文所设计的并行爬虫系统有较好的爬行性能。最后对并行网络爬虫做了总结和展望。
企业DNS系统的设计与实现
这是一篇关于DNS,BIND,工单,Spring MVC的论文, 主要内容为DNS(Domain Name System,域名系统)是互联网提供的重要服务之一,作为互联网海洋中指引方向的导航仪,其重要性也随着互联网的蓬勃发展而越来越明显。对于企业而言,DNS是其信息通信基础设施,保障着企业业务的正常运行。而随着企业内部网络的日渐壮大,对于更加安全并且稳定的DNS服务的需求也日益增加。在这个背景下,市面上涌现出许多第三方域名服务平台。第三方平台虽然能够满足企业对于DNS服务的大部分需求,但其固化的功能模式带来的不方便、复杂的用户群体造成的不安全等问题让企业们纷纷望而却步。基于第三方平台所带来的众多不确定因素,作者所在的公司希望将DNS服务从第三方平台迁回公司内部运维平台中,开发一个符合公司运维特色的DNS系统。在该系统中,除了可以进行基本的DNS操作外,还根据实际需要,将DNS操作与运维工单相结合,保证运维流程的规范性和完整性。此外还将运维人员对于服务器、IP等的管理需求加入到系统中,并且对系统的各个功能进行了严格的权限控制。本系统采用B/S(Browser/Server,浏览器/服务器)结构,基于Spring、Spring MVC、MyBatis开发框架,在对DNS的处理上主要采用的是开源的DNS服务软件BIND(Berkeley Internet Name Domain),并采用Snaker工作流引擎对系统涉及的工单流程进行控制。本系统分为工单管理、域管理、DNS记录管理、服务器管理、IP管理以及权限管理六个模块,由业务处理子系统和网络服务子系统两部分共同实现。作者参与了该系统整体的需求分析、架构设计、数据库设计及接口设计,在详细设计与实现阶段完成了对业务处理子系统的设计和开发,并在测试阶段参与了系统的部分测试。本文充分结合软件工程理论,借助统一建模语言,对系统的需求进行了分析。通过对系统业务逻辑进行梳理,提出了系统的架构设计方案,并着重对作者负责的部分的实现过程进行了详细的描述。该系统目前已经完成全部的开发,处于试运行阶段,并且在根据试运行效果和反馈不断地进行更新和优化,逐步完善系统的功能并且提高其使用性能。作者所负责的部分运行稳定,基本实现了预期的目标。
本文内容包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主题。发布者：源码货栈 ，原文地址：https://m.bishedaima.com/lunwen/50702.html
