大数据采集与预处理技术

**;项目二图书信息数据采集与预处理;任务一分布式采集环境安装配置;二、Scrapy爬虫框架

1、简介：Scrapy是一个用于爬取网站并从页面中提取结构化数据的开源和协作框架，被广泛应用于数据挖掘、信息处理或存储历史数据等领域。

;2、安装：

pipinstallscrapy-i/simple

使用如下命令测试是否正确安装：

scrapyversion

3、scrapy爬取数据步骤;1）进入项目目录

cdmyproject

2）创建爬虫，“example”是爬虫名称，是目标网站。

scrapygenspiderexample

3）定义Item