Python - Urllib2等待页面加载以刮取数据

时间:2015-07-09 07:03:50

标签: python redirect web-scraping load captcha

首先,我想说我不想使用Python 2.7.10未提供的任何库。同样的问题发布在Stack Overflow上,但是回答了Requests库。

我有一个使用urllib2登录Roblox.com的脚本。为了在我尝试登录之前检查是否有验证码,我想做check_captcha = re.findall('recaptcha_image', newlogin)但是roblox需要重定向到验证码登录页面并且验证码必须加载到页面上。

那么我怎样才能让Python等待完全重定向/加载页面,然后继续.read()并抓取它。

1 个答案:

答案 0 :(得分:2)

这将在读取之前等待10秒:

import urllib2
import time
url = 'Roblox url'
data = urllib2.urlopen(url)
time.sleep(10)
data = data.read()