Python爬虫高级课教室讲师:忘仙时间:2018年教学监督热线免责声明:如果本课程内有任何内容侵害了您的权益,请您及时联系我们????潭州教育全球教学服务中心热线:
上节知识点回顾01.手机抓包教学监督热线02.Scrapy框架爬取图片03.斗鱼案例04.Scrapy框架爬取图片常见问题
PARTSEVEN课时七教学监督热线
课时七问题引入010203如何使用scrapyd?什么是scrapyd?怎么安装scrapyd?
知识点一问题解答什么是scrapyd?01scrapyd官方文档:scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本。特点:1、可以避免爬虫源码被看到。2、有版本控制。3、可以远程启动、停止、删除
怎样安装scrapyd?02知识点二问题解答1,安装scrapyd主要有两种安装方式:pipinstallscrapyd(安装的版本可能不是最新版本)从中下载源码,运行pythonsetup.pyinstall命令进行安装。2,安装scrapyd-deploy主要有两种安装方式:pipinstallscrapyd-client(安装的版本可能不是最新版本)从中下源码,运行pythonsetup.pyinstall命令进行安装。
知识点三问题解答如何使用scrapyd?-》1:运行scrapyd0403
知识点三问题解答如何使用scrapyd?-》2.1:发布工程到scrapyd-》配置scrapy.cfg04031.首先去掉url前面的注释符号,url是scrapyd服务器的网址2.然后project=tenCent为项目名称,可以随意起名3.修改[deploy]为[deploy:100],表示把爬虫发布到名为100的爬虫服务器上,一般在需要同时发布爬虫到多个目标服务器时使用
知识点三问题解答如何使用scrapyd?-》2.2:发布工程到scrapyd-》添加爬虫工程0403命令如下:Scrapyd-deploytartget-pproject--versionversion参数解释:Target:deploy后面的名称。Project:自行定义名称,跟爬虫的工程名字无关。Version:自定义版本号,不写的话默认为当前时间戳。
知识点三问题解答如何使用scrapyd?-》3.创建运行爬虫任务0403curl-dproject=myproject-dspider=spider_name
知识点三问题解答如何使用scrapyd?-》4.停止爬虫任务0403curl-dproject=spider_name-djob=job_id更多API可以查看官网:
本节知识点回顾Scrapyd的安装Scrapyd的使用Scrapyd的介绍
THANKYOU讲师:忘仙时间:2018年教学监督热线