第一章绪论
PAGEII
PAGEII
基于scrapy的分布式网络爬虫系统设计
目录
TOC\o1-3\h\u15666摘要 2
10737第一章绪论 3
71991.1选题的依据及意义 3
21741.2国内外研究现状和发展趋势 4
30235第二章爬虫相关技术介绍 6
252922.1页面解析技术 6
212632.1.1url去重技术 6
67742.1.2网页解析技术 6
25902.2scrapy框架介绍 7
323182.2.1scrapy框架原理 7
219832.2.2scrapy框架数据流 9
175752.3scrapy-redis技术介绍 10
249782.3.1redis数据库 10
276432.3.2scrapy-redis原理和流程 10
4724第三章爬虫系统的分析与设计 12
210793.3爬虫系统功能架构 13
111283.4数据库设计以及存储数据 14
32170第四章爬虫系统的实现 15
139604.1spider模块的实现 15
258604.1.1爬取页面url的策略与实现 15
225234.1.2爬取页面详情的策略与实现 16
99224.2Middleware模块的实现 17
68094.2.1代理ip的实现 17
227854.2.2随机切换请求头的实现 19
247564.3extensions模块的实现 19
37864.4MYSQL数据库数据存储模块的实现 19
19239第五章系统测试与展示 21
162875.1测试环境 21
115815.2系统功能测试 22
27713第六章总结与展望 25
7366参考文献 26
摘要
随着现代经济社会的进步和发展,互联网技术和现代化的大数据科学技术也得到了飞跃式的发展,目前现代人们在日常生活中和工作中对于互联网中各种信息的采集和挖掘都越来越多,与此同时大量的信息和数据也给信息采集和分析以及数据挖掘工作带来了巨大的机遇和挑战,所以如何快速的有效地采集和挖掘大量的数据已经成为当今时代人们非常迫切需要考虑和解决的一个问题。网络爬虫对于数据的获取既方便又简单,并且能够高效地获取到大规模的数据。但是一般爬虫又存在着一定局限性,例如单机爬虫抓取的速度太慢,稳定性也不高,亦未实现分布式爬虫,存储效率低;如今由于网页设计结构多样,市面上大多数成熟的爬虫系统一般都收费,因此设计一个分布式爬虫还是很有意义的。本文使用和定制scrapy-redis技术实现了一个基于分布式网络的爬虫系统,它可以抓取中国新闻网上的大量新闻资料,并用mysql进行数据的存储。解决了单机爬虫速度慢和不稳定的问题,实现对数据进行高效的爬取和存储。
关键词：redis；scrapy-redis；分布式；
绪论
1.1选题的依据及意义
随着互联网的飞跃式发展，人们获取信息的渠道也日益增多，其中网络是现在大众获取信息和新闻最普遍的也是最快捷的渠道。然而，受互联网自身因素的影响，目前网络上的信息呈现出来源广，种类多，体量大等特点，而传统的搜索引擎只能非常模糊的匹配出与用户需求相关的信息，对于某些具体化和精确化的需求，搜索引擎也无法满足。介于此原因，聚焦网络[1]爬虫应运而生。网络爬虫作为信息获取的工具之一早在90年代初就开始被广泛的使用，目的就是快速准确获取互联网中特定主题的信息，本文也是在此基础上深入研究。早期互联网中网页数量并不大，开发者一般选择将网络爬虫程序放在单台机器中运行，但随着网络迅速的发展，目前互联网中网页的数量早已和过去不是一个量级了，有数据表明，截至2021年1月底，中国互联网中“.CN”域名网站总数已超过5108.8万个，相比过去同比增长4.52%。面对如此庞大数量的网页，仅仅想依靠单机版的网络爬虫程序获取足够多的信息是不太现实的，即便有高性能、高带宽的服务器支撑，爬虫自身的采集速度也远远跟不上网页增长的速度，因此，支持多台机器并行数据采集的分布式网络爬虫诞生了。一些知名的互联网公司（如谷歌，百度）早在互联网还未如此普及的时候就开始对分布式网络爬虫进行研究，并且在大数据量采集和任务调度等相关技术上提出了自己的解决方案，但是其核心技术却一直作为商业机密不对外公开。另一方面，对于大部分数据采集商来说，传统的面向搜索引擎的分布式网络爬虫系统过于复杂，应用性不高，而目前开源的网络爬虫框架中，虽能满足基本的采集需求，但大部分都未实现分布式抓取。因此实现一个分布式爬虫是非常有必要的。
1.2国内外研究现状和发展趋势