2025年大学统计学期末试题库——统计调查设计与实施中的网络爬虫技术试题

考试时间：______分钟总分：______分姓名：______

一、单项选择题（本大题共15小题，每小题2分，共30分。在每小题列出的四个选项中，只有一项是最符合题目要求的，请将正确选项前的字母填在题后的括号内。）

1.在进行网络爬虫数据采集时，下列哪种方法最有可能违反网站的robots.txt协议？

A.设置合适的User-Agent并遵守爬取频率限制

B.直接访问网站根目录下的robots.txt文件获取规则

C.使用代理IP轮换访问不同子域名

D.在爬虫程