使用Python

Question

通常，无论何时加载页面，它都会发送多个请求，这些请求可以记录在chrome开发人员工具的网络标签中。

我的主要动机是在使用python脚本加载页面时记录所有网络请求。附上一个屏幕截图，以说明我想要收集的所有请求。

Image for Network Hit Logs

我正在尝试使用python中的 urllib 库来实现相同的功能，但是，我并不完全确定它的用法。

期待您的回复。提前致谢。

Answer 1

您不能使用urllib系列库来执行此操作。要捕获AJAX请求，您需要使用支持Javascript的东西......比如浏览器。

因此，在这种情况下，您最好的选择是使用Selenium编写一个脚本，该脚本使用Selenium Web Driver来驱动您正在使用的任何浏览器，然后捕获/记录被推出的AJAX请求。