有没有办法捕获网站使用python进行的网络调用？

Question

我已经看过了urllib（2），机械化和美丽的汤，希望找到能够捕获网页调用的内容，例如来自页面的像素/信标点火。不幸的是，我对它们中的任何一个都不是很熟悉，也不清楚如何进行搜索。

我想使用python来运行一系列网址，捕获每个网络称为像素点火。有人会知道我可以从一个手段或图书馆开始，以实现这一目标吗？

调查了webscrappying，但我不想要html，相反我相信我正在寻找该网站提出的GET请求。

Answer 1

如果我理解你想要什么，你想记录浏览器在显示页面时对许多页面的要求。

您的选择是使用python编写浏览器脚本（请参阅：http://wiki.python.org/moin/WebBrowserProgramming），或使用javascript编写浏览器脚本，并以某种方式输出结果（我建议使用JSON，请求或文件），并在python中分析它们。

老实说，您可能会发现在javascript中编写脚本更容易。

Answer 2

如果您可以访问Firefox Web浏览器，另一种可能性是安装Firebug，这是一个功能强大的调试工具，可让您选择在浏览器控制台中显示来自网页的所有网络流量。为了将控制台的输出传输到文件，您需要为Firebug安装ConsoleExport插件。

现在，您将能够捕获从网页到文件的所有流量，然后您可以使用Python解析该文件。