基本信息
文件名称：大数据采集与预处理技术（微课版）课件 4.3 图书信息数据采集scrapy数据持久化.pptx
文件大小：61.6 KB
总页数：12 页
更新时间：2025-12-25
总字数：约3.72千字
文档摘要
大数据采集与预处理技术
**;项目二图书信息数据采集与预处理;任务一分布式采集环境安装配置;三、Scrapy数据持久化
Scrapy可以将parse方法返回的数据存储到不同的文件或数据库中。
1、保存到文件：
①保存到CSV
命令方法：scrapycrawlexampl(爬虫程序名称)–o***.csv(保存文件名)
代码方法：可在parse方法中直接通过Python代码写入文件中：;1、保存到文件：
②写入JSON文件
命令方法：scrapycrawlexampl(爬虫程序名称)–o***.json(保存文件名)
代码方法：可在parse方法中直接通