需要使用Python登录的网站

时间:2010-06-25 21:44:01

标签: python screen-scraping

我为我的网站使用了几个广告网络,看看我赚了多少钱,我需要每天登录才能添加价值。我正在考虑制作一个Python脚本,这样我就可以快速获得。我知道我需要执行POST请求才能登录,然后存储我收到的cookie,然后GET请求报告页面,同时传递这些cookie。

在Python中复制的最方便的方法是什么,当我手动浏览网站时,我正在做什么?

3 个答案:

答案 0 :(得分:6)

答案 1 :(得分:1)

cookielib进行客户端cookie处理,mechanize以多种方式增强它 - 包括通过从Internet Explorer缓存中读取cookie来初始化cookie jar的方法(所以,如果你可以手动登录到Windows上的每个站点,然后您可以使用cookielib或机械化基于完全相同的cookie进行将来的登录 - 直到它们到期为止。

答案 2 :(得分:1)

不是Python解决方案,但考虑使用像Chickenfoot这样的浏览器自动化工具。