基本信息

---

下载

文档摘要

---

1.2爬虫的用途和分类;在当下，互联网大数据在各行各业人员的生活和研究应用中具有重要位置，由于互联网大数据的数据来源和类型更加丰富，数据的流动性和开放性更大，人们越来越需要从海量的数据中寻找自己需要的数据，常用的方式就是利用搜索引擎根据关键字查找自己感兴趣的网站，那么搜索引擎是如何找到这些网站的呢?其实，搜索引擎使用了网络爬虫不停地从互联网爬取网站数据，并将网站镜像保存在本地，从而提供信息检索的功能。本章就对爬虫知识进行初步介绍，让大家对爬虫有基本的了解。;;;;图1-1爬虫的常用功能;;采集型爬虫的典型使用场景：;采集型爬虫的典型使用场景：;监测型爬虫的典型的应用包括应用安全监测和