在会话期间保存所有XHR响应

时间:2014-06-30 14:27:38

标签: python xmlhttprequest web-scraping

我正在浏览Angie's List网站,我的Fiddler扩展程序在Chrome中打开,每次加载页面后,Fiddler会捕获该页面的XHR响应(我相信它只是一个像素跟踪器,表明我访问了一个新的事件页)。我希望能够在CSV文件中自动捕获这些响应的内容。所以例如,如果我运行“python getXHR.py http://www.angieslist.com”我想要附加我的csv输出文件:

angieslist.com,http://536371345.log.optimizely.com/event?a=536371345&d=536371345&y=fal ...

我该怎么做?我比其他语言更了解Python,但其他语言也没问题。如果有办法通过Fiddler / Firebug直接做到这一点也很好。

1 个答案:

答案 0 :(得分:1)

使用NetExport(firebug的扩展名),您可以将所有请求保存为JSON,然后您可以使用Python(和模块json)查找X-Requested-With: XMLHttpRequest

的请求

BTW:NetExport有Auto Export