基本信息

---

下载

文档摘要

---

基于JAVA的分布式网络爬虫的设计与实现

摘要

I

摘要

网络爬虫是搜索引擎的关键组成部分，直接影响到搜索引擎的性能。随着互联网信息飞速增长，分布式网络爬虫已经占据主流。本项目是研究基于Redis开发一个分布式网络爬虫系统，采用基于内存的redis和磁盘的mysql存储为主，使用一致性hash算法分发url并维持负载均衡，Redis缓存数据库做url及部分已抓取任务的缓存。

本文首先阐述了分布式网络爬虫的研究背景和研究现状，确定研究内容，爬取百度旅游的数据并进行需求分析。介绍了分布式网络爬虫系统的基本原理和关键技术，关键技术包括爬取策略和一致性hash算法。之后对系统框架进行了介绍，描述了