基本信息
文件名称:《Python网络爬虫技术案例教程》教案 第7章 爬取App和PC客户端数据.docx
文件大小:3.13 MB
总页数:4 页
更新时间:2025-05-26
总字数:约4.74千字
文档摘要

PAGE4

PAGE4

PAGE3

PAGE3

课题

第7章爬取App和PC客户端数据

课时

4课时(180min)

教学目标

知识目标:

(1)掌握使用Fiddler爬取Android手机App数据的方法

(2)掌握使用Fiddler和Proxifier爬取PC客户端数据的方法

能力目标:

能编写程序爬取App和PC客户端的数据

素质目标:

能够独立思考并找到解决方案,从而培养解决问题的能力

教学重难点

教学重点:使用Fiddler爬取Android手机App数据的方法,使用Fiddler和Proxifier爬取PC客户端数据的方法

教学难点:编写程序爬取App和PC客户端的数据

教学方法

案例分析法、问答法、讨论法、讲授法

教学用具

电脑、投影仪、多媒体课件、教材

教学过程

主要教学内容及步骤

考勤

【教师】使用APP进行签到

【学生】班干部报请假人员及原因

问题导入

【教师】提出以下问题:

如何爬取Android手机App和PC客户端的数据?

【学生】聆听、思考、举手回答

传授新知

【教师】通过学生的回答引入要讲的知识,介绍使用Fiddler爬取Android手机App数据,以及使用Fiddler和Proxifier爬取PC客户端数据的相关知识

7.1爬取App数据

Fiddler是常用的App抓包工具。它是位于客户端和服务器端的HTTP代理,能够记录客户端和服务器端之间的所有HTTP请求,可以针对特定的HTTP请求分析请求数据、设置断点、调试Web应用、修改请求数据,甚至可以修改服务器端返回的数据,功能非常强大。

本节主要介绍在Windows中使用Fiddler对Android手机App的HTTP请求进行抓包分析,并爬取数据的方法。

7.1.1下载和安装Fiddler

?【教师】利用多媒体展示“下载页面”图片(详见教材),并进行讲解

1在打开的下载页面中单击“普通下载”按钮下载安装文件,如图所示。

1

2双击下载好的FiddlerSetup_5.0.20202.18177.exe文件,根据安装提示进行安装即可。

2

7.1.2设置Fiddler和Android手机

1.设置Fiddler

?【教师】播放“设置Fiddler”视频(详见教材),并提出以下问题:

设置Fiddler时有哪些注意事项?

?【学生】观看、思考、举手回答

?【教师】总结学生回答

?【教师】利用多媒体展示“启动Fiddler4”图片(详见教材),并进行讲解

1单击“开始”按钮,选择“Fiddler4”选项,如图所示。

1

?【教师】利用多媒体展示“‘AppContainerConfiguration’对话框”图片(详见教材),并进行讲解

2打开“AppContainerConfiguration”对话框,单击“Cancel”按钮,如图所示。

2

……(详见教材)

2.设置Android手机

1确保Android手机和计算机在同一局域网内(如连接同一无线网络)。确保Fiddler完成设置,并正在运行。

1

?【教师】利用多媒体展示“无线局域网适配器WLAN的IPv4地址”图片(详见教材),并进行讲解

2打开命令提示符窗口,输入“ipconfig”命令,查看无线局域网适配器WLAN的IPv4地址,如图所示。

2

……(详见教材)

7.1.3Fiddler抓包分析

?【教师】播放“Fiddler抓包分析”视频(详见教材),并提出以下问题:

Fiddler抓包分析需要经过哪些过程?

?【学生】观看、思考、举手回答

?【教师】总结学生回答

Fiddler抓取App数据包并分析数据的过程如下。

(1)在计算机上启动Fiddler,在Android手机上打开App,如金山词霸App。

?【教师】利用多媒体展示“Fiddler界面”图片(详见教材),并进行讲解

(2)Fiddler抓取到的数据包都会显示在左侧列表中,查看是否包含金山词霸App的信息(),如果有,说明Fiddler成功抓取了金山词霸App的数据包,如图所示。

(3)双击“”后,切换到“Inspectors”选项卡中,可以查看数据包的请求信息和响应信息。上半部分显示请求信息,下半部分显示响应信息。

(4)切换到请求信息部分的“Raw”选项卡,可显示请求方法、URL、请求头和请求体(有的请求没有请求体);切换到响应信息部分的“JSON”选项卡,若响应数据是JSON格式,则会以JSON形式显示响应内容。

7.1.4爬取思路

爬取App数据的思路如下。

(1)确保手机和计算机在同一局域网内(如连接同一无线网络),并完成Fiddler和Android手机的设置,启动Fiddler。

(2)打开手机App,查看需要爬取的数据。