伪造一个cookie来刮掉python中的一个站点

Question

我正在尝试抓取的网站使用js创建一个cookie。我在想的是我可以在python中创建一个cookie，然后使用该cookie来抓取网站。但是，我不知道如何做到这一点。有没有人有任何想法？

Answer 1

有关向请求添加Cookie的示例，请参阅Python httplib2 - Handling Cookies in HTTP Form Posts。

  

我经常需要在网络中自动执行任务   基础申请。我喜欢这样做   通过模拟a在协议级别   真实用户通过HTTP进行的交互。   Python附带了两个内置模块   为此：urllib（更高级别的Web   接口）和httplib（较低级别   HTTP接口）。

Answer 2

如果您想进行更多涉及浏览器模拟（包括设置Cookie），请查看mechanize。它的模拟功能几乎已经完成（不幸的是没有Javascript支持）：我用它来构建几个刮刀并取得了很大的成功。