如何通过javascript存储cookie?

时间:2012-02-24 15:25:24

标签: python web-crawler mechanize

我正在使用mechanize从许多网站检索数据。当我尝试登录www.douban.com时,我发现当我登录成功时有很多未设置的cookie。最后,我发现它们来自谷歌分析。它们是由javascript设置的。但是,mechanize无法处理javascript,因此如何获取这些Cookie。如果没有这些cookie,我仍然无法访问www.douban.com。

2 个答案:

答案 0 :(得分:1)

很抱歉这样说,但除非您的抓取工具知道如何运行Javascript代码,否则您无法获取Javascript设置的Cookie。

答案 1 :(得分:1)

PhantomJS是一个无头的基于webkit的客户端,支持所有的铃声和​​wisthles,包括JavaScript。它有Python API(PyPhantomJS),由于缺乏维护者而遗憾地被删除了。你可能还想看看。