使用Scrapy框架实现某网站书籍信息爬取常悦

目录01任务1创建爬取框架02任务2：Scrapy对接Selenium03任务3：使用Scrapy框架实现某网站书籍信息爬取

任务2：Scrapy对接Selenium

任务描述Scrapy抓取页面的方式和requests库类似，都是直接模拟HTTP请求，而Scrapy也不能抓取JavaScript动态渲染的页面。在前面的学习中，抓取JavaScript渲染的页面有两种方式。一种是分析Ajax请求，找到其对应的接口抓取，Scrapy同样可以用此种方式抓取。另一种是直接用Selenium模拟浏览器进行抓取，我们不需要关心页面后台发