我正在使用mechanize从许多网站检索数据。当我尝试登录www.douban.com时,我发现当我登录成功时有很多未设置的cookie。最后,我发现它们来自谷歌分析。它们是由javascript设置的。但是,mechanize无法处理javascript,因此如何获取这些Cookie。如果没有这些cookie,我仍然无法访问www.douban.com。
答案 0 :(得分:1)
很抱歉这样说,但除非您的抓取工具知道如何运行Javascript代码,否则您无法获取Javascript设置的Cookie。
答案 1 :(得分:1)
PhantomJS是一个无头的基于webkit的客户端,支持所有的铃声和wisthles,包括JavaScript。它有Python API(PyPhantomJS),由于缺乏维护者而遗憾地被删除了。你可能还想看看。