Python实现的基于Scrapy爬虫框架和Django框架的新闻采集和订阅系统

摘要

随着互联网的迅速发展，互联网大大提升了信息的产生和传播速度，网络上每天都会产生大量的内容，如何高效地从这些杂乱无章的内容中发现并采集所需的信息显得越来越重要。网络中的新闻内容也一样，新闻分布在不同的网站上，而且存在重复的内容，我们往往只关心其中的一部分新闻，网络中的新闻页面往往还充斥着大量许多与新闻不相关的信息，影响了我们的阅读效率和阅读体验，如何更加方便及时并高效地获取我们所关心的新闻内容，本系统能够帮我们做到这一点。本系统利用网络爬虫我们可以做到对网络上的新闻网站进行定时定向的分析和采集，然后把采集到的数据进行去重，分类等操作后存入数据库，最后提供个性化的新闻订阅服务。考虑了如何应对网站的反爬虫策略，避免被网站封锁爬虫。在具体实现上会使用Python配合scrapy等框架来编写爬虫，采用特定的内容抽取算法来提取目标数据，最后使用Django加上weui来提供新闻订阅后台和新闻内容展示页，使用微信向用户推送信息。用户可以通过本系统订阅指定关键字，当爬虫系统爬取到了含有指定关键字的内容时会把新闻推送给用户。

［关键词］ 网络爬虫；新闻；个性化；订阅；Python

Abstract

With the rapid development of the Internet, the Internet has greatly enhanced the production and dissemination of information, the networkwill produce a lot of content every day, how to find and collectthe information we needed from these disorganized contentefficiently is more and more important. The news content on the network is thesame, the news is distributed on different sites, and there are many duplicate content, we only care about part of thenews usually. The network news pages areoften filled with a lot of news and information is not related that impact ourreading efficiency and readingexperience. How to more convenient and efficient access to the news we are concerned about the content, thissystem can help us to do this. This system uses the web crawler to collect news on the network site. And then toclassify data and other operations like delete the duplication,store data byuse the database, and finally providepersonalized news subscription service. This system has considered how to deal with the sit&s anti-reptile strategy, toavoid being blocked by the site crawler. In the concrete implementation, I will use Python with Scrapy framework towrite the crawler, then use a specificcontent extraction algorithm to extract the target data, and finally use Django and WeUI to provide news subscription background and news contentdisplay page, use WeChat to push information to users. Users can subscribe tothe specified keywords through the system, system will push thenews to the user when the crawler system crawled the contents contains thespecified keyword.

[Keywords] Web Crawler;News; Personalization; Subscription; Python

第一章 引言

1.1 项目的背景和意义

如今我们所处的时代是一个信息时代，信息处处影响着人们的生活，无论是个人还是企业，都希望能够获取自己所关心的内容。人们获取信息的方式渐渐从传统的纸质阅读转移到了信息传播速度更快互联网的在线阅读上，而许多媒体和互联网企业都推出了各自的新闻门户来提供新闻内容阅读和检索等功能，但是这些新闻信息仍需要我们主动去访问这些网站才能获取到，而且我们还要在这些新闻中筛选出自己所关心的内容进行阅读，这样浪费了我们许多阅读之外的时间。网络中的新闻分布在不同的网站上，我们往往只关心其中的一部分新闻，网络中的新闻页面往往还充斥着大量许多与新闻不相关的信息，影响了我们的阅读效率和阅读体验，如何更加方便及时并高效地获取我们所关心的新闻内容，这是一个急需解决的问题，本系统就是为了解决这样的痛点而产生的。

1.2 研究开发现状分析

1.2.1 个性化新闻服务现状

如今国内外存在众多提供个性化新闻服务的互联网公司，如著名的ZAKER和今日头条，这些公司的产品都能够根据你的兴趣爱好来展示和推荐你喜欢的内容，这种创新性已经颠覆了传统的新闻资讯平台的市场格局，大众纷纷表现出对这些个性化新闻平台的追捧。据最新的《中国互联网络发展状况统计报告》显示，截至2016年12月，中国网民规模达7.31亿，移动互联网用户规模达到6.95亿，其中新闻资讯领域行业用户规模达到6.14亿，年增长率为8.8%，在移动端渗透率达到82. 2%。 [1]新闻资讯信息的用户需求也更加细分，用户对内容的需求也更加精细，除了方便阅读、时效性高、趣味性强外，个性化推荐方式也越来越受到用户的关注。在猎豹全球智库发布的安卓2016年1月新闻类APP排行榜中，作为个性化新闻平台的今日头条、一点资讯皆排在移动资讯APP的前三位。而前三中采用传统编辑推荐方式的只有腾讯新闻，可见如今个性化新闻平台已经成为绝对的主流。

1.2.2 网络爬虫研究现状

网页抓取工具是一种根据特定规则来自动获取互联网信息的脚本或程序。[2] 网页或搜索引擎等网站通过爬虫软件来更新自己的网站内容或者是更新对其他网站的索引。一般来说，网络爬虫会保留被抓取的页面，然后用户可以通过搜索引擎后来生成的索引进行搜索。因为爬虫访问网页的方式与人类相似，而且一般比人类访问的速度要快，会消耗访问的网站的系统资源。因此爬虫在需要大量访问页面时，要考虑到规划和负载等情况，否则容易被网站禁封。网站站长可以使用robots.txt文件来告诉爬虫访问的规则。robots.txt文件是一个具有指定格式的文件，网站站长可以通过此文件来要求爬虫机器人不能访问某些目录或者只能访问某些目录。互联网上的页面极多，而且数量一直在增长，即使是像谷歌这样的爬虫系统也无法做出完整的索引，因此在某些地方会根据需求来做一些主题化的爬虫，这样的爬虫爬到的结果往往能够更加精确。

1.2.3 项目的范围和预期结果

本文描述了基于网络爬虫的新闻订阅系统的设计与实现的过程，主要工作如下：

• 编写一个网络爬虫，使其能够对网络中指定站点的新闻进行自动收集并存入数据库；

• 数据的去重和网络爬虫的反爬虫策略应对；

• 提供一个新闻展示页面，把爬取到的新闻展示给用户；

• 提供新闻订阅页面，用户可以在页面输入指定订阅的关键词；

• 编写微信推送服务，把用户订阅的新闻通过微信推送给用户；

1.3 论文结构简介

本论文的结构安排如下：

• 第一章，引言。主要介绍了论文选题项目的背景、意义和目的；以及对相关领域中已有的研究成果和国内外研究现状的简要评述；介绍本系统涉及的范围和预期结果等。

• 第二章，技术与原理。主要介绍本系统中所用到的主要技术和理论。

• 第三章，系统需求分析。使用用例析取和用例规约等系统分析方法对本系统进行了需求分析。

• 第四章，新闻采集与订阅系统的设计。介绍了系统的架构与原理，讲述本系统的各大模块的设计以及数据库的设计详情。

• 第五章，新闻采集与订阅系统的实现。介绍本系统具体的实现过程以及实现的效果。

• 第六章，系统部署。介绍本系统的部署环境与部署方法。

• 第七章，总结与展望。对本系统所做的工作进行总结，提出了需要讨论的问题和一些本系统中可以改进的地方。

第二章 技术与原理

2.1 技术选型

2.1.1 Python语言介绍

Python是一种面向对象、解释型的计算机程序编程语言。它包含了一个功能强大并且完备的标准库，能够轻松完成很多常见的任务。它的语法比较简单，与其它大多数程序设计语言使用大括号把函数体包起来不一样，它通过缩进来定义语句块。[4]使用P帅on能够高效灵活地实现开发的任务，内置库以及大量的第三方库能够在许多地方避免重复造轮子的现象，有时使用c+＋语言来实现的一个功能可能需要几十行，Python只需要几行就足够了。与传统的脚本语言相比，Python拥有更佳的可读性和可维护性。这门语言的强大吸引到了许多开发者，拥有比较热门的Python社区，许多开发者在维护着这种Python编写的库，影响力也在日益增强。在网络爬虫领域，Python这门语言的使用也比较广泛，留下了大量的前人的学习研究的资料。基于以上优点，我选择了使用Python来开发本系统的网络爬虫部分和展示部分的服务端。

2.1.2 Scrapy框架介绍

Scrapy是一个纯Python基于Twisted实现的爬虫框架，用户只需要定制开发几个模块就可以方便地实现一个爬虫，用来抓取网页内容、图片、视频等。它最初是为了网站页面抓取所设计的，也可以应用在获取网络应用API所返回的各类数据或者是编写通用的网络爬虫。Scrapy用途比较广泛，可以应用于数据挖掘、自动化测试和数据监控等场景。Scrapy提供了一些网络爬虫中比较通用的中间件和模块等，也可以方便地编写自己所需的中间件来对爬取结果进行处理，只要在配置里面引用这些中间件就可以了。使用Scrpay来编写爬虫可以降低很多需要重复编写的爬虫处理代码所带来的成本。

2.1.3 Django框架介绍

Django是最早由Python实现的最着名的Web框架之一，最初是由美国芝加哥的Python用户组来开发的，拥有新闻行业背景的Adrian Holovaty是Django 框架的主要开发人员之一。在Adrian的领导下，Django团队致力于为Web开发人员提供一个高效和完美的Python开发框架，并授权开发人员根据BSD开源协议许可证免费访问。Django是一个高效的Web框架，可以帮助我们减少重复的代码，并把更多重点放在Web应用程序上的关键之处。在架构上，Django 跟Scrapy类似，也提供了中间件等，配置的方式也是类似的，使用类似的技术架构可以减少学习成本。本系统中我选用Django作为新闻订阅的服务端来提供API。

2.1.4 MongoDB数据库介绍

MongoDB是一个由C+＋语言编写的高性能，无模型的开源文档型数据库，是当前NoSQL数据库产品中最具有代表性的一种。MongoDB是使用文档来作为对象存储的，一条记录对应一个文档，集合类似传统的关系型数据库中的表，集合中存放的是那些具有同一特征或者属性的文档。在一个集合中，不同文档拥有的属性可以是不同的，这就是与传统的关系型的数据库的重点了，传统的关系型数据库要求表里的数据所拥有的属性格式都是一致的，MongoDB这种灵活性更利于文档映射到一个对象或一个实体上。对于需要经常改动数据格式或者数据格式不定的一些需求来讲，这种数据格式更为合适。MongoDB在读写性能方面也远超传统的关系型数据库的代表之一的MySQL。在本系统中我使用MongoDB 来存储爬取到的数据以及用户数据等。像MongoDB这样的非关系型数据库更合适储存爬虫数据，因为爬虫数据量可能比较大，数据之间关系型也不强。 MongoDB的性能也比传统的关系型数据库代表MySQL之类要强。

2.1.5 AJAX介绍

AJAX（异步的JavaScript + XML）本身并不是一种技术，它是由Jesse James Garrett在2005年提出的一个术语，描述了一种需要结合使用大量已经存在的技术的方式，包括HTML, JavaScript, CSS, DOM, JSON, XML等，还有最重要 JavaScript中的的XMLHttpRequest对象。当这些技术以AJAX模型的方式聚合时，Web应用程序可以更迅速地，无需加载整个页面就能更新全部或者部分的用户界面。这使Web应用能够更快地响应用户行为，带来更友好的用户体验。尽管在AJAX中X代表XML，但现在JSON使用的更多，因为JSON具有许多XML不具备的优势，比如它更轻量并且是JavaScript的一部分，各个程序语言都能够轻松解析JSON格式的数据。在AJAX模型中，JSON和XML的作用都是承载信息。[6]本系统会在新闻订阅和展示部分的前端使用AJAX来跟服务端进行交互，以达到前后端分离的目的。

2.2 相关原理介绍

2.2.1 网络爬虫介绍

网络爬虫（英语：web crawler)，也叫网络蜘蛛（spider)，是一种自动提取网页的程序，它为搜索引擎从万维网上下载网页。传统的爬虫的启动从一个或多个初始网页开始的，从这些初始网页上获得接下来要爬取的URL，在抓取网页内容的过程中，不断从当前页面的内容上抽取新的需要继续爬取URL放入队列，直到满足系统的一定停止条件。[7]网络爬虫的抓取策略大致可以分为以下三类：广度优先搜索策略、深度优先搜索策略、最佳优先搜索策略等。本系统的爬虫部分使用的爬虫策略是广度优先搜索策略，因为本系统的网络爬虫具有针对性，所以爬取的层数不会很多。

2.2.2 关键词提取技术

通过分析文本，利用关键词抽取技术可以抽取出文本的关键词，关键词能够简单地反映出文本的主要内容，使人们更加直观方便地了解到文本内容的主题。关键词提取的技术有许多种，最常用的应该是基于统计的方法的TF-IDF算法。 TF-IDF(term frequency-inverse document frequency）是一种常用的用于数据挖掘与信息检索的加权技术。[8]词语的重要性是在TF-IDF算法中主要是由它在文中出现频率决定的。

Jieba是一个基于Python的中文分词库，支持三种分词模式：精确模式、全模式和搜索引擎模式，它能够基于Trie树结构来实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图，采用了动态规划查找最大概率

路径，找出基于词频的最大切分组合。在本系统中，将考虑使用Jieba分词基于 TF-IDF算法的关键词抽取来抽取出爬取到的新闻内容的关键词。

2.2.3 智能推送技术

当我们使用如今的一些应用程序时，会经常收到来自这些应用的推送，过多的、不适当的推送会打扰到用户，互联网技术在最近几十年里已经得到了很大的发展，但是推送通知技术仍旧停留多年以前。为了实现智能化推送，我们需要搜集和分析能够帮助我们实现智能化推送通知的用户数据，这些数据的来源可以是用户的设置或者用户在应用中产生的数据等。在智能推送通知中，与时间相关的，个性化的，有帮助的，有联系性的是智能推送通知中四个基本的特征。

在推送的时间上，我们可以做到时间智能化，时间智能化指的是推送的时间要恰当，推送发生在不恰当的时间比无用的垃圾推送消息造成的不良效果更验证。在不恰当的时候推送的通知不但打扰到用户，还很容易会被用户忽略。智能推送应该能够做到自动解决推送时间不恰当的问题。具体的实现可以通过一个对推送信息的重要性评估的引擎来决定消息推送的时间。

在个性化上，我们可以把推送机器人设计成人类的形态，比起传统的系统消息，拟人化的方式能够让人更加容易接受，如苹果的Sin和微软的Cortana。当我们将来自机器智能的推送通知语言根据用户自己的特点进行调整后，用户在查看时看到的是更像交流式的风格，会感到更有亲切感，更加个人化。

在推送的内容上也要慎重选择，根据不同用户来推送不同的内容。因为对于用户来说，只有用户关心的内容才是对用户有帮助的。拿新闻订阅应用来讲，就是用户只会对某些主题内容的新闻感兴趣，应用要做的就是把新闻的主题进行分析，打上不同的标签。然后找到用户兴趣中含有这些标签用户进行推送。如果不经处理对全部用户进行统一的推送，用户需要花费大量时间在这上面去过滤出自己感兴趣的内容。

在推送内容的数量上也有讲究，如果一个服务高频次地的使用通知推送，用户可能会感觉到被冒犯然后会关掉它，后面的推送就都收不到了。因此，将推送的内容进行分组就很重要了。系统可以把一些相似的通知进行分组合并，可以减少对用户的打扰，在消息很多的时候这种优势就很明显了。在信息较少的时候可以选择把这些推送通知进行展开，因为此时用户可能会比较关心这些少见的内容，也是一个不错的选择。

第三章 系统需求分析

3. 1 新闻订阅系统用例析取

基于网络爬虫的新闻采集与订阅系统要实现新闻数据抓取，数据过滤，数据筛选，数据展示，新闻订阅，推送等服务和功能，本系统用例图如图3.1所示：

本系统主要用于以下几类人员：

• 数据管理员，完成数据的抓取，过滤与筛选，新闻的推送，以及本系统管理维护等。

• 用户，在网页上进行新闻订阅，通过微信接收订阅新闻的推送，点击进入对应新闻展示页面等。

3.2 新闻订阅系统用例规约

3.2.1 新闻订阅

3.2.1.1 简要说明

本用例允许用户增加或者删除自己订阅新闻的关键字，以及对已经订阅的关键字进行确认等操作。

3.2.1.2 参与者

用户。

3.2.1.3 事件流

基本事件流：用例开始于用户进入新闻订阅页面进行操作。

• 订阅新闻关键字的状态共有两种，分别为“已订阅”、“未订阅”。顾客可以在相应的状态下进行操作，选择增加关键字或者删除关键字。

• 如果关键字状态为“未订阅”，用户可以增加该关键字到自己的订阅列表中，本用例结束。

• 如果关键字状态为“已订阅”，用户可以选择删除该关键字，本用例结束。

• 无特殊要求。

• 前置条件：本用例开始前用户必须是微信已登录状态。

• 后置条件：如果用例成功，用户的订阅列表将被更新。

• 活动图

3.2.2 新闻推送

3.2.2.1 简要说明

本用例允许数据管理员根据新闻的关键字向已经订阅该关键字的用户进行推送等操作。

3.2.2.2 参与者

数据管理员。

3.2.2.3 事件流

基本事件流：用例开始于爬虫系统采集到新闻时。

• 系统将新闻内容根据算法与用户订阅的新闻关键字作对比，对比结果分别为“匹配”、“不匹配”。
• 如果匹配状态为“匹配”，系统将调用微信推送接口向用户推送该新闻，本用例结束。
• 如果匹配状态为“不匹配”，用户将不会收到该新闻的推送，本用例结束。
• 无特殊要求。
• 前置条件：本用例开始前采集到的新闻必须有效。
• 后置条件：如果用例成功，用户将收到一条新闻推送。
• 活动图

第四章 新闻采集与订阅系统的设计

4.1 系统架构及原理

本新闻采集与订阅系统分别由爬虫部分与新闻订阅和展示部分构成，在新闻订阅与展示部分采用基于C's的架构，代码的组织方式为MVC三层结构，其中的三个层次分别为视图层（View)、控制器层（Controller)和模型层（Model)。代码整体采取前后端分离的方式，前端负责视图层，后端负责模型层和控制器层，客户端使用微信和网页实现，前后端通讯使用AJAX交换JSON的方式。系统的总体框架图如图4.1所示：

爬虫部分使用了Python编写Scrapy框架，它的基本架构如图4.2所示，其中 Scrapy引擎的作用是控制数据的流向，是整个爬虫框架的核心。网络蜘蛛(spiders) 定义了如何爬取某个(或某些)网站，包括了爬取的动作以及如何从网页的内容中提取结构化数据。蜘蛛中间件(spider middleware)是在Scrapy引擎和网络蜘蛛间的一个钩子，它可以处理蜘蛛的输入与输出。调度器(scheduler)能够从Scrapy引擎接受请求并放入队列，在引擎请求调度器时返回对应的请求。下载器(downloader)负责下载网页，把爬取到的内容返回给Scrapy引擎和网络蜘蛛。下载器中间件(downloader middleware)是在Scrapy引擎和下载器间的一个钩子，它可以处理传入的请求跟传出的响应。Item Pipeline负责处理网络蜘蛛传过来的Item，可以在此做数据格式化，数据清理等操作。

爬虫的整体上数据流向的开始是由Scrapy引擎让网络蜘蛛以一个初始的 URL来初始化一个请求，并设置回调函数，然后网络蜘蛛把该请求向调度器申请任务，把申请到的任务交给下载器，这里会经过一次下载器中间件，然后下载器把下载完后产生的响应再经过一次下载器中间件，然后传递给引擎，引擎接收到该响应后通过蜘蛛中间件传给网络蜘蛛处理，网络蜘蛛处理该响应，产生一个 item或者是新的请求给引擎，引擎会把传过来的item放入Item Pipeline，把传过来的新的请求传给调度器，Item Pipeline获取接收到的item对该item进行逐层处理，接着这个流程就重复直到爬取完成。

4.2 系统模块设计

4.2.1 爬虫采集模块设计

使用Scrapy框架来编写爬虫首先要编写核心的蜘蛛（sPiders）的代码，Spider 类定义了如何爬取某个（或某些）网站，包括了爬取的动作以及如何从网页的内容中提取结构化数据。本系统主要针对网易新闻和腾讯新闻的科技频道进行主题式的爬虫，所以设计了两个网络蜘蛛，名字分别为Neteasespider和QQSpider，如果后续需要更多需要爬虫的站点，只要增加对应站点的网络蜘蛛就可以了，其余处理部分都是通用的。在这里选择主题式的爬虫的原因主要是一个通用爬虫对于新闻这样的每个站点的文章有固定格式的爬取解析的代价比较大，还不如手工去对需要爬取的站点进行分析，根据每个站点的特点来编写解析的代码。这样的主题式的爬虫能够提高爬虫的精确度，同时也提高了爬虫的效率，这样我们的爬虫就能够及时爬取到最新的新闻内容了。每个站点对应一个特定的网络蜘蛛还有一个好处就是如果后续需要完成分布式爬虫等需求时会很方便，因为这样的方式代码之间的祸合度较小，同时非常简洁。

网络蜘蛛首先从一个Start url开始爬取，这里我选取了网易新闻和腾讯新闻的科技频道的首页，蜘蛛爬取这个起始URL上的页面后，对里面的内容进行解析。因为每篇新闻的URL都具有一定的格式，凡是该页面上有符合这种格式的 URL，蜘蛛都会对这些URL进行回调，继续爬取这些URL的页面，这些页面上就会包含所要获取的新闻的内容了。对于同一个新闻站点来说，一般页面上的内容的结构也是一样的，所以按照一定的规则来对这些页面上的内容进行解析，获得新闻内容原始数据，对这些数据进行格式化的处理，封装成一个item，传回给 Scrapy引擎处理。

因为新闻具有一定时效性，一般来说我们只会关注那些新产生的新闻内容，所以本爬虫不需要考虑需要爬取过往产生的新闻的情况。本系统的爬虫部分只聚焦于每个站点的首页的新闻，因为新闻是滚动刷新的，所以我们需要定时对首页进行爬取，获取新的新闻内容。本系统设计了一个类似守护程序，来控制爬虫的启动与停止，在爬虫结束后等待一段时间再重新开始爬取。

4.2.2 爬虫去重模块设计

在爬虫过程中会遇到重复内容的情况，所以我们需要设计一个爬虫用到的去重的模块。考虑到每个URL对应的新闻内容是不变的，我们只要针对URL来进行去重即可，而不需要等到把内容取回来之后再判断内容是否已经爬取过，那样会消耗大量额外的资源，也对目标网站造成了额外的压力，显得不友好。我们选择去重的时机是Scrapy的调度器把请求分配给下载器之前，也就是说在下载器中间件中处理，在本系统中定义了一个下载器中间件RedisMiddleware，这个中间件的作用是在Redis的一个散列中判断是否存在该URL，如果不存在，把该请求传给下一个中间件处理。如果该URL存在于散列中，则忽视掉该请求，不进行后续操作。在本系统中定义了一个Item管道RedisPipeline，在爬取数据完成后，数据库处理完后Item会传到该管道，该管道的作用是把这个新闻所属URL 存入Redis的散列中，标记该URL已经爬取。

4.2.3 防反爬虫模块设计

防反爬虫是在大多数爬虫中需要考虑的情况，因为爬虫对网站服务器造成的压力比正常人要多，如果爬取频率足够高的话，会使网站访问变慢，甚至无法访问，所以网站可能会有一系列的反爬虫措施。首先我们的爬虫需要遵守网站的爬虫协议，然后把爬取速率控制好，例如间隔一秒才爬取一个页面。其次，我们需要伪装成一个浏览器，有些网站会通过HTTP请求头中的User-Agent中的信息来判断用户，我们不但需要在爬虫请求中的HTTP设置User-Agent请求头，还需要对该请求头进行更换，因此在本系统中定义了一个下载器中间件RotateUserAgentMiddleware，这个中间件的作用是在请求前在请求的HTTP请求头中设置一个轮换的随机的模拟用户浏览器的User-Agent请求头，这些 User-Agent与真实浏览器的User-Agent一致，数据来源是Python中一个叫 fake-useragent的库。后续如果对方服务器针对'P进行禁封了的话可以采用代理服务器的方式来应对，在做了以上措施的情况下本系统目前没有出现过被禁封的情况，因此该方法没有在本系统中实现。

4.2.4 爬虫存储模块设计

爬虫的数据存储是一个爬虫系统中很重要的一部分，因为爬虫的目的就是获得数据，在这里我们需要考虑数据的存储方式与储存时机。在本系统中储存部分使用了ORM（对象关系映射）的方式来实现，ORM的好处在于把数据访问的细节隐藏起来，在ORM上的操作出错的可能性会比手写数据库操作的可能性低。在ORM中，我们只需要关注数据的结构，这样一来，我们只需要编写数据储存对象的参数定义等属性跟方法就可以了，初始化、查询、更新等操作都可以由 ORM来实现。在本系统中，爬虫部分与订阅和展示部分都共用一个数据库，爬虫部分需要对数据库进行写操作，展示部分需要对数据库进行读操作。在蜘蛛解析完数据后，蜘蛛会把封装好的Item通过Scrapy引擎传给Item管道，本系统中定义了一个MongoDBPipeline，这个管道的作用是维持一个MongoDB的数据库链接，接收到传入的Item后先校验完数据的完整性，然后把合法的数据插入数据库对应的集合中，否则丢弃该Item。

4.2.5 消息推送模块设计

消息推送部分本系统使用微信来实现，需要用户关注指定公众号。本系统需要推送消息给用户时，先选择一个本系统预定义的模板，在模板中填入消息标题，内容和链接等数据后，通过微信提供的接口来进行推送。这里需要注意的是我们需要给推送的消息接口提供一个本系统所用的公众号的AccessToken，这个 AccessToken是向微信证明本系统的凭证，它有一定的有效期，需要定时刷新。

4.2.6 消息订阅与展示模块设计

消息订阅与展示模块是本系统中与用户交互的模块，这个模块负责用户订阅新闻的功能与向用户展示所需新闻内容的模块。在本系统蜘蛛解析完数据后，蜘蛛会把封装好的Item传给MongoDBPipeline储存后，会继续往下传递，传递到一个PushPipeline中，这个管道的作用是判断爬取到的数据是否包含用户所订阅的关键词，如果包含的话则调用消息推送模块把新闻消息推送给用户。在消息推送后，用户会在微信端本系统的公众号中接收到一条包含新闻消息简要内容的消息，点击该消息可以跳转到新闻展示页面。本系统提供了一个消息订阅页面，用户可以在该页面上管理自己的新闻关键词。

4.3 数据库设计

本系统存放数据用到的数据库分别是Redis和MongoDB，在本系统的数据库设计中，数据库的集合主要包括爬取到的新闻信息集合和用户订阅新闻关键词集合，系统的配置信息都写在配置文件中，就不需要使用数据库来存放了。这里选择MongoDB的原因是考虑到当爬虫的数据量和并发数很大时，关系型数据库的容量与读写能力会是瓶颈，另一方面，爬虫需要保存的内容之间一般不会存在关系。另外本系统会使用Redis中的散列类型来存放已经爬取过的URL和不合法的URL，因为判断URL是否合法或者是否已经爬取过是一个高频的操作，使用 Redis这样的高性能的内存键值对类型的数据库可以减少主数据库的压力，同时提高爬虫的性能。

新闻信息集合

用户订阅新闻关键词集合

第五章 新闻采集与订阅系统的实现

5.1 系统框架实现

本新闻采集与订阅系统的爬虫部分框架是利用Scrapy自带的命令行工具来初始化，初始化后已经创建好了Scrapy引擎所需的几个重要的文件，如中间件，数据管道，配置文件等，这样做的好处是能够快速搭建起框架，并且能够达到官方定义的最佳实践。接下来我们可以在这个目录下定义自己的一些模块文件，再在这些文件中实现自己的处理函数就可以了，最终实现的爬虫部分的目录结构如图5.1所示，其中items.py是用于定义数据储存模型的文件，middlewares.py是用于定义中间件的文件，pipelines.py是用于定义数据管道的文件，settings.py是本系统爬虫部分的配置内容，spiders文件夹中存放了不同爬虫的网络蜘蛛代码， utils.py则是一些通用的函数存放的地方，wechat_config.py和wechatpush.py分别是微信推送部分的配置和推送代码。

新闻订阅和展示部分的API服务器端则使用Django自带的命令行工具来初始化，使用django-admin startproject命令来新建一个项目，然后使用django-admin startapp命令来新建一个app，这样API服务器的基本框架就完成了，然后往创 建的目录中添加其余代码，最终实现的新闻订阅与展示部分的目录结构如图5.2 所示，其中frontend文件夹存放的是本系统的前端静态文件，分别是新闻订阅页面和新闻展示页面，init_db.py文件是一个用于初始化数据库用的脚本，lib文件夹中存放的是本系统中一些能够被公用的函数文件。manage.py是由Django生成的用于管理任务的命令行工具脚本，newsweb存放的是本项目的代码，run server.sh是一个用于启动服务器的脚本文件，web server中存放的是本系统新闻订阅与展示部分的服务端代码的主要文件，主要包括了用于配置路由 urls.py，存放新闻和订阅信息数据模型models.py和提供API的views.py。

5.2 爬虫采集模块实现

爬虫采集模块的核心的网络蜘蛛，下面以爬取网易科技频道新闻的蜘蛛为例讲解本系统爬虫采集模块的实现过程。图5.3为该蜘蛛的解析网页请求响应的代码，首选我通过分析网易科技频道新闻中的网页源码，分析得到网页中所需的新闻内容的数据所在的位置特征信息，例如通过分析发现标题位置是处于html标签下的head标签里的title标签里的文本。24-27行中的代码的作用是通过xpath 使用之前分析出来的格式来从抓取到的数据中提取出新闻相关的信息，包括新闻标题、新闻消息来源、新闻内容、新闻发布时间。29-32行的代码作用是把时间解析为时间戳，这样做的目的是为了方便把时间转换成不同的表现格式，时间表现会更为准确。34-40行的代码作用则是把数据封装成一个本系统中的新闻Item, 然后传给Item管道来处理。另外一个用于爬取腾讯新闻科技频道蜘蛛的分析方法和代码写法是类似的，在这就不详细介绍了。

为了实现定时爬虫的功能，在本系统中实现了一个名为worker.py的守护进程脚本和一个start_crawl.py的用于调用爬虫的脚本，运行worker.py脚本后会每三十秒调用启动一次start_crawl.py，start_crawl.py每次启动会调用爬虫主程序，程序核心代码如下：

5.3 防反爬虫模块实现

为了防止反爬虫对本系统爬虫部分的影响，对于每次请求，本系统都会伪装成一个真实的用户，防止被爬取的网站通过User-Agent等信息来判断或者禁封 掉本系统的爬虫，导致后续爬虫无法正常进行。本系统在发送请求之前会在请求的头部加上User-Agent的请求头信息，这个请求头的信息会在本系统配置中的 User-Agent列表中随机选取一个，图5.5为部分User-Agent信息。除此之外，还可以利用代理服务器来代理请求，防止被爬取的网站通过IP信息来禁封本系统爬虫。

5.4 爬虫存储模块实现

爬虫储存模块的数据设计与格式等在上一章已经说明，在这介绍在数据库中的具体实现。爬虫爬取到的新闻数据会存放于MongoDB中，使用ORM来映射数据对象模型到数据库，使用的ORM框架是MongoEngine，下面通过讲解一个新闻内容的数据模型的定义来说明这种定义方式，在图5.6中的第9行，我们定义了一个父类为MongoEngine的Document类的类，这样定义就使这个类拥有了关系对象映射的能力，再在这个类中定义一个to_json的方法，作用是把本类的实例转化为一个Dict类型的数据，方便API调用时将对象转换成JSON格式的数据返回给前端。图5.7展示了部分爬取到的新闻数据的内容。

5.5 消息推送模块实现

消息推送模块使用了微信公众号的推送，在本系统中使用微信的接口测试号来代替公众号，微信的接口测试号是一种用于测试的，可以使用微信号扫一扫登录的账号，而且这种账号能够直接体验和测试公众平台所有高级接口。在申请完后登录系统，获得该系统的applD和appsecret，这两个字符串是使用该账号的凭据。需要注意的是，用户需要关注本账号后才能够收到本账号推送的消息。

接下来我们在网页下方新增一个消息模板，填入推送新闻消息的模板内容，填写完成后记录对应的模板ID。

获得以上信息后把信息写入消息推送模块的配置文件中，供消息推送模块调用。下面讲解消息推送模块核心部分的实现，核心部分如图5.10所示，是一个名为send_msg的函数，这个函数接收四个参数，分别为新闻标题、新闻内容、新闻的ID和订阅者的openid。订阅者的openid是用户微信的唯一标识，在测试号的页面可以查看已关注该账号的用户微信的openid。该函数的29-42行的作用是把数据封装成微信推送接口所需的格式，然后在45行使用requests模块来 POST一个请求到微信推送接口，微信推送接口收到请求后会在公众号中把该消息推送给用户。该函数使用了一个自定义的装饰器update_token来装饰，之前存放的applD和appsecret可以用来生成推送用的access token，而这个access token 有固定的存活期限的，这个装饰器的作用就是定时去获取这个access token并存放，直到过期之后再重新获取。

爬虫模块爬取到含有用户订阅的关键词的新闻时会向该用户推送这则新闻，图5.11是用户在微信公众号上收到的该新闻的推送消息示例。

5.6 消息订阅与展示模块实现

消息订阅与展示模块主要由前端静态文件部分和后端API部分组成。在开发方式上本系统选择了使用前后端分离的方式，前端通过AJAX的方式来跟后端提供的API进行交互，后端API服务器收到请求后返回对应的JSON格式的数据给前端，前端根据数据来渲染出最终展示给用户的页面，这种前后端分离的方式有效地降低了代码之间的Wi合度。在前端实现方面，使用了jquery来对DOM元素进行操作以及进行异步请求等，另外使用了WeUI的样式库，WeUI是一套提供同微信原生一致的视觉体验的基础样式库，由微信官方设计团队为微信内网页和微信小程序量身设计，令用户的使用感知更加统一。

接下来以用户端的角度来展示消息订阅与展示模块的实现。

用户想要收到新闻推送，需要先关注本系统的公众号，然后打开新闻订阅页面：

这时可以输入要订阅的关键词，这里填IT，点击添加订阅关键词，系统提示添加关键词IT成功，刷新已订阅关键词列表：

点击已订阅关键词列表中的项会弹出对话框询问是否删除该关键词：

点击确定，提示操作成功，同时刷新已订阅关键词列表：

在订阅关键词后，系统爬虫爬取到相关内容时会把内容通过微信推送给用户，用户点击后可以看到新闻内容，在此页面可以点击查看原文按钮打开原新闻页面，还有可以点击订阅更多前往订阅新闻关键词的页面：

点击查看原文，会跳转到新闻的原页面：

第六章 系统部署

6.1 部署机器概述

为了运行本新闻采集与订阅系统，至少需要一台拥有公网'P的Li～服务器，这是为了用户在外网能够访问到。至于配置方面则不需要太高，在测试时我选用了一台腾讯云上的服务器，这台服务器的配置如下：

6.2 配置环境

• 安装Nginx作为反向代理服务器，并编辑Nginx相关配置文件，这样做是为了把不同的请求分发到后端不同的地方，例如请求前端文件就返回静态文件，请求API就把请求转发给API服务器，Ningx的配置文件部分内容如图6.1所示。这样就实现前后端分离而又不受到跨域请求限制的影响了。编辑完Nginx配置文件后，重启Nginx服务器。

• 安装PIP, PIP是Python用于管理第三方库的一个软件，这里用于安装本系统所需的第三方库。

• 使用PIP安装本系统所依赖的第三方库，包括pymongo, scrapy, redis, fake-useragent, django,mongoengine, jieba, lxml, gevent, gunicorn等。

6.3 系统运行

由于本新闻采集与订阅系统是由爬虫部分与展示部分组成，所以需要分别运行行爬虫的守护进程和后端API服务器，静态页面是由Nginx指定的一个目录来提供的，不需要后台服务器。

使用python worker.py命令来运行爬虫的守护进程，得出以下输出：

使用sh run_server.sh命令来运行后端API服务器，这个脚本的实际作用是使用gevent作为gunicorn的worker来运行4个后端API服务器进程，成功运行会得到以下输出：

第七章 总结与展望

7.1 总结

本系统是一个基于网络爬虫实现的新闻采集与订阅系统，实现了对网络上新闻内容的自动化采集、用户新闻关键词订阅、新闻内容展示以及新闻推送等功能。为实现本系统的功能，查阅了大量学习资料，在实现方面使用了一些比较前沿的技术以及较多的第三方库，从中能够学习到很多新知识和新技能。在本文中较为完整地从系统的需求分析、不同模块的设计与实现几个方面来展示了一个完整的爬虫系统以及对应的新闻订阅API服务器等的实现过程，最后在云服务器上部署本系统并测试，达到了预期的效果。

7.2 展望

本新闻采集与订阅系统在设计上考虑了许多来降低代码之间的祸合度，同时提高代码的健壮性与性能，使本系统能够达到容易扩展以及高可用的需求，即便后续需要爬取另外一个新的新闻网站上的新闻，只需要编写对应网站的解析部分就可以了，大部分代码已经被模块化，能够被重用。对比了已有的类似的成熟大型新闻服务系统，发现还有以下能够改进的地方：

• 本系统只对新闻的基本文字信息等进行了采集与展示，后续可以考虑实现对新闻中图片与视频等多媒体信息的采集。

• 本系统缺乏一个较为完善的用户模块，目前用户是在配置文件中配置的，用户模块对于这类的订阅系统是比较重要的。

• 订阅机制不够智能，也没有智能推荐等功能，后期可以采用机器学习等人工智能方法来实现智能化推送与推荐功能。

除了以上几点，本系统仍然存在许多能够改进的地方，但由于本文作者水平有限以及时间限制，未能够将这些一一实现，还希望各位专家学者能够给予批评与建议。

参考文献

[1] 中国互联网络信息中心. 中国互联网络发展状况统计报告[EB/OL]. http://www.cnnic.cn/gywm/xwzx/rdxw/20172017/201701/t20170122_66448.htm, 2017年

[2] 胡博，基于网络爬虫的内容资源评价研究[D]；北京理工大学；2015

[3] 李建中、李金宝、石胜飞，传感器网络及其数据管理的概念、问题与进展，软件学报，14(10):17 17-1727, 2003

[4] 邝洪胜；基于Python的电商导购APP设计与实现[D]；华南理工大学；2015

[5] 基于Django的自动化运维管理系统的设计与实现[D]．姚娜．西安电子科技大学2015

[6] 关系与非关系数据库应用对比研究——以SQL Server与Mongo DB为例[D]．吴德宝．东华理工大学2015

[7] 基于网络爬虫的网站信息采集技术研究[D]. 孙骏雄. 大连海事大学2014

[8] 基于网络爬虫的内容资源评价研究[D]．胡博．北京理工大学2015

[9] Wang J, Guo Y. Scrapy-based crawling anduser-behavior characteristics analysis on Taobao[C1//Cyber-EnabledDistributed Computing and Knowledge Discovery (CyberC), 2012 International Conference on. IEEE, 2012:44-52.

[10] Castillo C. Effective web crawling[C1//Acm sigir forum. Acm, 2005, 39(1):55-56.

[11]刘金红，陆余良．主题网络爬虫研究综述 [J]．计算机应用研究，2007, 24(10) :26-29.

[12］徐远超，刘江华，刘丽珍，等．基于Web的网络爬虫的设计与实现[J]．微计算机信息，2007 (21): 119-121. MLA

[13] 王成军．“今日头条”的技术逻辑：网络爬虫＋矩阵筛选[J]．传媒评论，2015 (10) : 34-37.MLA

[14] Jaiswal S, Kumar R. Learning Django Web Development [M]. PacktPublishing Ltd, 2015.

[15] Taneja 5, Gupta P R. Python as a Toolfor Web Server Application Development [J]. 2014.

[16] Web数据挖掘及其在网络新闻文本数据中的应用[D]．胡峰．电子科技大学2010

[17] 乔峰．基于模板化网络爬虫技术的Web网页信息抽取[D]．电子科技大学2012

致谢

从本论文的选题、资料收集、资料阅读、到论文编写完成的这段时间中，我收获到许多宝贵的知识与经验。在这段时间里我查阅了许多相关资料，也使用了一些他人开发的第三方程序库，这些都减轻了我的压力。在此要感谢前人的付出，留下了那么多的学习研究材料。

在这我要特别感谢我的论文导师卞静老师，卞老师在我完成该论文期间给予了我悉心指导与帮助，在繁忙之中抽出时间来对我的论文进行了指导并提出许多宝贵的建议。卞老师拥有渊博的专业知识、严谨的治学态度和平易近人的处事作风，是我终生学习的楷模。在此向我的导师表示最诚挚的谢意和最衷心的祝愿。

其次，我要感谢我的家人，他们一直以来都能够理解，支持并关心我，从而使我能够专心投入到学习和工作中，让我在求学的过程中感受到温暖的力量，并能够顺利完成学业。

在我大学学习和生活中，得到了许多老师和同学的关心与帮助。感谢我的舍友，在我学习上遇到疑惑的时候能够悉心教导我，在论文编写、技术路线和具体实现上也得到了他们宝贵的建议，谢谢你们！

最后，在此对所有在我做毕业设计期间帮助，关心和支持过我的老师、同学和朋友们，以及百忙之中抽出时间来审阅、评议本论文的各位专家们表示衷心的感谢。

参考文献

• 网络舆情爬虫系统的设计与实现（厦门大学·李海燕）
• 基于J2EE的网络舆情分析系统的设计与实现（南京大学·李伟）
• 深度可定制的工具化爬虫系统的设计与实现（北京邮电大学·李笑语）
• 基于Scrapy框架的分布式爬虫系统设计与实现（合肥工业大学·汪兵）
• 面向特定网页的Web爬虫的设计与实现（吉林大学·马慧）
• 基于标记模板的分布式网络爬虫系统的设计与实现（华中科技大学·杨林）
• 基于SSH2的新闻信息管理平台的设计与开发（青岛大学·张明瑛）
• 基于微服务的新闻类网站爬虫与分类检索平台设计及实现（中国科学院大学(中国科学院大学人工智能学院)·陈本康）
• 基于分布式爬虫的社交媒体灾害信息挖掘系统的设计与实现（华中科技大学·单欣刚）
• 基于爬虫的网络新闻订阅和跟踪系统的设计与实现（华中科技大学·严园）
• 基于微服务的新闻类网站爬虫与分类检索平台设计及实现（中国科学院大学(中国科学院大学人工智能学院)·陈本康）
• 基于J2EE的网络舆情分析系统的设计与实现（南京大学·李伟）
• 基于分布式的新闻爬取和推荐系统的设计与实现（山东大学·张翼）
• 分布式微信公众平台爬虫系统的研究与应用（南华大学·吴霖）
• 基于NLP与分布式爬虫的故事化资讯系统（华中科技大学·关翰笙）