基于网络爬虫理论的GIS信息获取方式研究
这是一篇关于静态网页,动态网页,ArcGIS For JavaScript,JavaWeb的论文, 主要内容为近年来,随着计算机科学的发展,网络大数据时代到来,为数据获取提供了一种新的思路。传统的GIS信息获取方式主要采用实地测量以及栅格地图、影像进行获取,需要大量的人力物力。通过深入网络数据挖掘,大量的属性数据以及矢量数据也可以从网络中进行获取。网络爬虫作为一种搜索引擎,为GIS信息获取提供了方便,它能从大量的网络平台上获取可靠相对真实的数据。将网络爬虫技术应用于地理信息系统可以较好的解决数据获取方面的难点。本文在研究网络爬虫的原理时,将其应用于GIS信息获取过程。主要研究了网络爬虫在属性信息获取、矢量信息获取以及将二者结合起来,并将其应用于房产评估系统当中。设计研究了网络爬虫软件关键技术与基于Web的GIS信息管理系统开发的关键技术。在通过网络爬虫获取了数据之后将其应用与GIS信息管理系统当中。本文的主要研究内容:(1)通过深入研究相关网页结构,通过对静态网页和动态网页进行分析,获得网页上相关的数据。利用相关技术,模拟用户操作过程,获得返回数据。(2)通过分析研究电子地图瓦片结构,了解电子地图结构。获取瓦片的地址链接,进行下载拼接。(3)深入研究ArcGIS自动矢量化过程,将获取的栅格地图进行二值化,并进行自动矢量化。(4)本文研究了ArcGIS提供的一组针对JavaScript脚本,对地图服务进行调用,尝试了将获取的矢量地图应用于实际任务中的可行性。(5)研究了JavaWeb相关开发技术,将获取的GIS属性数据以及空间数据应用于房产评估中。
基于Web的智能化带传动设计与查询系统
这是一篇关于Web,智能导航,动态网页,JavaBeans的论文, 主要内容为基于Web的带传动设计与查询系统是利用互联网进行机械设计的新型的机械设计方法。由于机械设计本身是一项艰苦细致的工作,传统的人工方法进行机械设计存在着设计效率低、计算误差大、浪费人力物力等问题。而目前先进的CAD技术可以解决机械设计中存在的问题,然而由于CAD软件存在着地域限制,因此对于远程的数据的传输,同步的数据共享等还需要进一步的完善。基于Web的设计系统就是借助于互联网的高效性、交互性等特点,能够达到不受地域时间限制,快速的完成设计任务的目的。 本文首先从带传动设计的理论基础入手,分析了带传动设计的两种不同的设计方法的特点,优劣性,介绍了带传动的新型选型方法。其次,整个系统的设计,采用了目前几种最先进的技术。包括使用了Java、Jsp、JavaScript、Html、CSS等计算机语言相互结合,共同完成动态网页的显示与更新、智能化导航系统,还包括使用Java中的JDBC新技术作为连接数据库的桥,实现与远程服务器端Oracle数据库的连接,以达到数据的动态提取和计算的功能,以及使用FLASH技术完成帮助系统。最后本文还探讨了Jsp语言中的JavaBeans程序模块在设计过程中的应用。 正是利用计算机数据库管理能力和飞速发展的互联网技术,结合传统的人工机械设计的特点,本系统解决了一般软件设计的弊端和局限性,实现了智能化的带传动的设计、选型、计算,并且将所有的计算、检验、查找与更新数据等工作放在后台由计算机程序自动完成,提高了机械设计的效率,可以让更广大的学生了解和学习机械知识,是一种新型的教学和自我学习的方法。
基于Hadoop分布式环境下垂直爬虫的研究与实现
这是一篇关于Hadoop,ChainMapper/ChainReducer,Redis,动态网页,Ajax的论文, 主要内容为随着人们对信息搜索个性化服务的需求日益增长,垂直爬虫技术克服了通用爬虫全网爬取的缺点,主要访问用户指定的站点和页面,提高了信息获取的效率和准确率。然而随着网络上数据爆炸式的增长,传统的垂直领域单机爬虫对于海量数据爬取效率已远不能满足需求,且海量存储也是一个很大的挑战。同时,动态网页技术已经广泛应用,给爬虫爬取页面带来了很大的困难。针对爬虫领域面临的这两个问题,本文提出了一个分布式垂直爬虫框架,并对基于状态转换图的动态网页处理算法进行了改进,最后实现了爬取手机App信息的分布式垂直爬虫系统。分布式垂直爬虫框架基于MapReduce的ChainMapper/ChainReducer来设计爬虫各模块,引入Redis内存数据库来对URL等进行管理存储,采用分布式数据库HBase来存储网页提取的特征内容信息。动态网页处理算法针对页面主体模块进行页面相似性判定和有选择性地触发有效元素对原来算法进行了改进,并运用Selenium WebDriver来驱动无界面浏览器Phamtomjs对网页元素上绑定的事件进行触发,下载动态网页的内容。最后基于ChainMR Crawler框架和动态网页处理算法实现了爬取手机App信息的分布式垂直爬虫系统。实验结果表明分布式垂直爬虫框架ChainMR Crawler比Nutch爬取效率高6%,说明ChainMR Crawler有较好的性能。改进后的动态网页处理算法有效减少了无效元素上事件的触发,提高了页面相关性,验证了改进算法的高效性。手机App信息爬虫系统实现了预期功能,具有比较高的爬取效率和扩展性,有较好的实用性。
基于ASP.NET的新闻管理系统的设计与实现
这是一篇关于新闻管理,动态网页,ASP.NET技术,软件工程,SQL Server数据库的论文, 主要内容为目前生活中对网站新闻管理方式的开发主要为以下两种:一种是采用静态HTML页面的方式;另一种就是基于ASP和脚本语言把动态网页和数据库结合,通过应用程序来对新闻稿件进行处理。这两种方式都有着各自的弊端:第一种方式的弊端就是它的网页内容是固定的,任何的修改或者更新都必须要通过专用的工具来进行重新制作并修改相应链接;第二种方式的弊端主要有三种,一是它仅局限于使用脚本语言来进行开发,用户在使用网页的操作中添加ASP代码的方法和在客户端脚本中添加代码的方法是一样的,容易引起代码混乱,二是ASP仅仅是解释运行的编程框架,所以它的执行效率是偏低的,三是ASP中它的界面设计和程序设计是混淆在一起的,不方便日后维护工作的进行。结合目前技术的优缺点,本系统最终采用ASP.NET技术和RSS聚合技术,基于B/S模式,来进行开发。ASP.NET技术能使我们的系统可以做到“编译一次,多处运行”,使我们的系统在使用过程中进行多次访问时速度有很大的提升,而且可以真正的实现“代码重用”,可以支持开发系统的实时更新行为,程序代码更容易编写,系统结构更清晰,使得系统建设和后期维护的复杂度和成本降低很多。出于对系统实用性和后期的维护简易程度等多方面考虑,然后对流行的几种数据库进行对比之后,最终选择了SQL Server数据库。本系统使用ASP.NET技术通过模板页来生成我们所需要的静态网页,通过AJAX实现异步传输可以使页面进行局部刷新,实现我们所需要的功能。通过RSS技术可以使用户得到最新的新闻内容的更新,保证新闻的实时性。在该系统中,用户可以进行新闻的评价和对感兴趣的新闻进行搜索浏览以及新闻的发布,管理者可以通过对用户所发布的新闻进行审核以及其他操作,来避免违规言论对社会造成的影响和对该系统的管理。总体来说,该系统布局清晰,功能完备,操作方便。从多个方面对用户和管理者进行考虑,提高他们的操作简易性,使系统更具备实用性。
山东数学会信息交流平台设计与开发
这是一篇关于数学会,B/S架构,数据库,动态网页,信息发布,网络社区的论文, 主要内容为随着计算机技术和网络信息化的发展,网络所承载的用户和业务迅速激增,网络环境的开放性、匿名性和动态性特征也越来越明显。为了提高服务质量和效率,提高学会的知名度,突破传统交流与合作方式的组织形态,特搭建了一个集交流、研究、合作为一体的平台。 本论文介绍了山东数学会组织结构及运行情况,论述了开发建设信息交流平台的必要性,并具体设计与开发实现了山东数学会信息交流平台,为山东数学会的日常管理及主要阶段性业务提供了网络支撑。山东数学会信息交流平台为学会内外各层次的用户服务,满足各种档次的不同要求,方便了会员交流,极大提高了数学会工作效率。 本文说明了开发工具ASP.NE T和C#的选择,完成了系统的总体功能设计,设计了前台栏日和后台栏目各个功能模块。根据这些设计要求,选择了合适的数据库系统,编写了数据字典。然后阐述了系统采用的.NET开发技术体系,并采用.NET技术和C#语言运用多层技术开发体系实现了各个具体模块的功能。 论文主要工作如下: 1、介绍了山东数学会信息交流平台开发背景和国内外相关技术研究现状,研究了山东数学会的信息交流需求,设计了交流平台的软硬架构体系; 2、设计开发了新闻、通知、学术论坛、资料共享等功能模块,实现了数学会日常管理的网络信息化; 3、设计开发了数学竞赛功能模块,对教务管理、成绩录入、成绩合成等几个方面给出了系统实现的详细解决方案。 论文的创新点在于首次设计并实现了针对数学学会的专业性服务平台,实现了网络管理与脱机管理相结合,多机与单机并举的系统设计的核心思想。 实现后的山东数学会信息交流平台具有动画、文字、表格等设计精美,栏目设置层次分明,查找方便,开设虚拟社区,提供互动交流窗口,充分的体现人性化设计等特点,同时拥有完善的后台管理功能。
基于状态转换的动态爬虫系统设计与实现
这是一篇关于动态网页,网络爬虫,状态转换,Ajax的论文, 主要内容为网络爬虫按照一定规则抓取Web信息,是搜索引擎技术的重要组成部分。随着Web2.0的兴起,在网页开发中大量的运用Ajax技术。区别于传统网页,Ajax技术使用异步的方式向服务器发送请求,并根据响应更新页面。Ajax极大地降低了服务器的负载,同时也提高了用户体验。与此同时,Ajax技术部分更新HTML页面的方式也对传统爬虫技术提出了严峻挑战。 本文在介绍分析传统爬虫爬行原理与结构的基础上,结合动态网络爬虫需要解决的问题,设计并实现了一种可以抓取动态网页数据的网络爬虫系统。本文完成的主要工作如下。 首先,在前人关于动态网络爬虫模型的研究基础上,基于图结构的思想,经过改进,提出了基于状态转移的动态网络爬虫模型,从而使用状态的转移过程模拟动态事件触发对网页结构的改变。并结合动态爬虫的需求和真实的网络环境,在网页去噪、新状态去重、新状态抓取等方面对算法模型进行了细化改进。 其次,本文根据该模型,使用调用浏览器内核以及本地构建JavaScript解析环境两种方法,设计实现了针对动态网页数据的爬虫系统。在保持传统爬虫功能的基础上,添加了对动态数据抓取的支持。 最后,本文通过对真实网页的抓取实验,比较了两种方法与传统爬虫的优势和不足。验证了该系统的可行性和有效性。
基于宽带网络的视频点播系统
这是一篇关于视频点播,主动控制,JSP,动态网页的论文, 主要内容为由于计算机产业的迅速发展,计算机能够相互传递信息,计算机网络随之产生,使人类所拥有的信息资源得以共享。网络技术运用到了各个领域,已经不再是军用和仅供学习使用了,她改变着人们的生活,对传统的广播电视也提出了挑战,人们对视频节目服务提出了更高的要求,希望改变传统的被动观看为主动控制,能实现对视频节目的内容,播放进步等诸多方面进行选择和控制。视频点播就是为了满足人们这这种需求而产生的一种服务。 本文就是讨论如何实现基本互联网宽带的视频点播系统,分为六章,分别为:概述,系统相关的技术,系统需求分析,系统数据设计,系统的设计与实现,系统调试和运行。其中在第二章详细介绍了JSP技术动态生成系统网页,Tomcat网页发布环境;JSP和JDBC数据库接口技术,SQL Server数据库管理视频文件存储。
基于状态转换的动态爬虫系统设计与实现
这是一篇关于动态网页,网络爬虫,状态转换,Ajax的论文, 主要内容为网络爬虫按照一定规则抓取Web信息,是搜索引擎技术的重要组成部分。随着Web2.0的兴起,在网页开发中大量的运用Ajax技术。区别于传统网页,Ajax技术使用异步的方式向服务器发送请求,并根据响应更新页面。Ajax极大地降低了服务器的负载,同时也提高了用户体验。与此同时,Ajax技术部分更新HTML页面的方式也对传统爬虫技术提出了严峻挑战。 本文在介绍分析传统爬虫爬行原理与结构的基础上,结合动态网络爬虫需要解决的问题,设计并实现了一种可以抓取动态网页数据的网络爬虫系统。本文完成的主要工作如下。 首先,在前人关于动态网络爬虫模型的研究基础上,基于图结构的思想,经过改进,提出了基于状态转移的动态网络爬虫模型,从而使用状态的转移过程模拟动态事件触发对网页结构的改变。并结合动态爬虫的需求和真实的网络环境,在网页去噪、新状态去重、新状态抓取等方面对算法模型进行了细化改进。 其次,本文根据该模型,使用调用浏览器内核以及本地构建JavaScript解析环境两种方法,设计实现了针对动态网页数据的爬虫系统。在保持传统爬虫功能的基础上,添加了对动态数据抓取的支持。 最后,本文通过对真实网页的抓取实验,比较了两种方法与传统爬虫的优势和不足。验证了该系统的可行性和有效性。
基于SSH架构的高校选课系统的设计与实现
这是一篇关于在线选课,动态网页,SSH,MVC,数据库技术的论文, 主要内容为随着信息管理技术的发展,互联网技术与数据库技术的结合为计算机的在人类生活中的应用带来了巨大的影响。在世界范围内,教育都是影响着国富民强的重要行业。在我国,随着高等教育的发展和普及,教育产业信息化,管理现代化,科学化已经成为行业发展的重要课题,这不仅是高校提高管理水平和效率的重要手段,甚至是国家提高教育综合水平,走向教育强国的重要手段。因此去设计和开发一个科学的、实用性的高校选课管理系统是十分必要的。本文基于目前主流的SSH(即Spring+Struts+Hibernate)架构,使用了SQL Server数据库版本为2008,用户层使用了javascript特效和jquery动态特效来编写Browser端的业务,另外,在与后台动态交互时更多的使用ajax局部刷新技术,实现了教务教学管理、教师管理和学生管理三大子系统功能,包括排课模块、管理模块、选课模块、成绩录入模块、成绩查询模块、评课模块等,具备智能选课的功能和效果,具有很好的使用价值。本文分析了高校选课系统的需求及可行性,设计了其概念模型,完成了友好的用户界面和功能,并通过了测试,最终实现了教学资源的均衡利用,提高了自动化排课的适用性与通用性。
本文内容包括但不限于文字、数据、图表及超链接等)均来源于该信息及资料的相关主题。发布者:毕设小屋 ,原文地址:https://m.bishedaima.com/lunwen/47390.html