基本信息
文件名称:虫高级课教python课件scrapyd.pptx
文件大小:1.41 MB
总页数:13 页
更新时间:2025-06-16
总字数:约1.3千字
文档摘要

Python爬虫高级课教室讲师:忘仙时间:2018年教学监督热线免责声明:如果本课程内有任何内容侵害了您的权益,请您及时联系我们????潭州教育全球教学服务中心热线:

上节知识点回顾01.手机抓包教学监督热线02.Scrapy框架爬取图片03.斗鱼案例04.Scrapy框架爬取图片常见问题

PARTSEVEN课时七教学监督热线

课时七问题引入010203如何使用scrapyd?什么是scrapyd?怎么安装scrapyd?

知识点一问题解答什么是scrapyd?01scrapyd官方文档:scrapyd是运行scrapy爬虫的服务程序,它支持以http命令方式发布、删除、启动、停止爬虫程序。而且scrapyd可以同时管理多个爬虫,每个爬虫还可以有多个版本。特点:1、可以避免爬虫源码被看到。2、有版本控制。3、可以远程启动、停止、删除

怎样安装scrapyd?02知识点二问题解答1,安装scrapyd主要有两种安装方式:pipinstallscrapyd(安装的版本可能不是最新版本)从中下载源码,运行pythonsetup.pyinstall命令进行安装。2,安装scrapyd-deploy主要有两种安装方式:pipinstallscrapyd-client(安装的版本可能不是最新版本)从中下源码,运行pythonsetup.pyinstall命令进行安装。

知识点三问题解答如何使用scrapyd?-》1:运行scrapyd0403

知识点三问题解答如何使用scrapyd?-》2.1:发布工程到scrapyd-》配置scrapy.cfg04031.首先去掉url前面的注释符号,url是scrapyd服务器的网址2.然后project=tenCent为项目名称,可以随意起名3.修改[deploy]为[deploy:100],表示把爬虫发布到名为100的爬虫服务器上,一般在需要同时发布爬虫到多个目标服务器时使用

知识点三问题解答如何使用scrapyd?-》2.2:发布工程到scrapyd-》添加爬虫工程0403命令如下:Scrapyd-deploytartget-pproject--versionversion参数解释:Target:deploy后面的名称。Project:自行定义名称,跟爬虫的工程名字无关。Version:自定义版本号,不写的话默认为当前时间戳。

知识点三问题解答如何使用scrapyd?-》3.创建运行爬虫任务0403curl-dproject=myproject-dspider=spider_name

知识点三问题解答如何使用scrapyd?-》4.停止爬虫任务0403curl-dproject=spider_name-djob=job_id更多API可以查看官网:

本节知识点回顾Scrapyd的安装Scrapyd的使用Scrapyd的介绍

THANKYOU讲师:忘仙时间:2018年教学监督热线