基于Python的分布式网络爬虫设计实现

摘要

随着社会经济的快速发展，互联网应用已成为人们日常生活中的一部分，如电商购物、滴滴打车等。随着互联网数据量的日益增多，数据内容及形式越来越丰富，人们开始意识到大量数据的背后蕴含着不小的商业价值和研究价值。数据量增多也给信息挖掘带来了一系列新的挑战。网络爬虫目前最关键的问题在于如何从海量的信息中及时并准确地获取有效信息，这既是挑战，也是机遇。网络爬虫具有抓取数据方便、迅速的特点，可以高效地抓取大量的网页信息，但网络爬虫也存在某些局限性。一方面传统单机式爬虫的抓取效率低下且不稳定，无法应对指数增长的海量数据。另一方面大型的搜索引擎只提供通用搜索服务