用firebug在python中搜索网站?

时间:2012-06-08 02:44:21

标签: python firebug web-scraping

我正在尝试抓一个网站,但我想要的东西不在源代码中。但它确实出现在我使用萤火虫时。有没有办法从firebug代码中获取而不是源代码?

2 个答案:

答案 0 :(得分:1)

您所追求的内容可能是由JavaScript(可能是Ajax)动态加载的。要在浏览器之外以编程方式获取它,您必须呈现JavaScript,这并不容易。但是,您应该能够运行Greasemonkey脚本以在渲染后将其刮除。请参阅http://blog.nparashuram.com/2009/08/screen-scraping-with-javascript-firebug.html

答案 1 :(得分:0)

如果答案不在源代码中(可能是混淆,编码等),那么可能是在加载XmlHTTPRequest的页面后检索到的。您可以使用Firebug中的“网络”面板查看页面加载的其他数据,以及加载它们的请求。

(您可能必须启用网络面板,然后重新加载页面/重新开始)