互联网爬虫与文本分析研究国内外文献综述

1.1互联网爬虫研究综述

（1）爬虫基本理论研究综述

网络爬虫，是一种根据http协议和一些明确定义的爬行策略自动获取大量网页集合的一种程序、软件或编程脚本。Udapure等（2014）[89]指出爬虫程序的体系结构由三个主要组件组成：URL边界、页面下载器和存储库。边界存储网络搜寻器必须访问的URL；页面下载器从边界中的URL检索并解析网页；最后，下载的网页存储在存储库组件中。爬虫程序从搜索引擎正在检索的网页中搜索任何可到达的URL，搜寻器找到的每个URL都放置在搜索队列中，以便以后由搜索引擎访问。对于从队列中检索到的每个新URL重复上述过程，URL