检索在python中使用javascript创建的cookie

Question

我已经看了很多关于cookiejar的教程，但我的问题是我想要scape的网页使用javascript创建cookie，我似乎无法检索cookie。有没有人能解决这个问题？

Answer 1

如果所有页面都具有相同的JavaScript，那么您可以解析HTML以找到该段代码，并从中获取cookie将设置为的值？

这会使你的抓取很容易受到第三方网站变化的影响，但最常见的情况是刮擦。 （请注意，第三方网站所有者可能不喜欢您以这种方式获取内容。）

Answer 2

我也回复了您的other question：看看mechanize。它可能是我所知道的最全功能的抓取模块：如果发送了cookie，那么我相信你可以使用这个模块来实现它。

Answer 3

也许您可以使用Python绑定（如python-spidermonkey或pyv8）在JavaScript引擎中执行JavaScript代码，然后检索cookie。或者，无论如何，当javascript代码在客户端执行时，您可以将生成cookie的代码转换为Python。

Answer 4

您可以使用真实的浏览器，PAMIE，win32com或类似内容访问该页面，然后JavaScript将在其原生环境中运行。