我正在打开一个带有urllib2的网页并阅读其内容,然后将其内容传递给BeautifulSoup然后抓取..
但是,我想首先完全加载页面或设置特定时间,然后阅读其内容。
我尝试过像 time.sleep(sec) 这样的方法,但这些方法无效我无论是读内容还是等待(睡眠)我都会得到相同的内容10/15秒。 当我逐行输入脚本时,我会得到不同的结果。
我正在使用urllib2和python2.7。 我也试图找到一个解决方案,但每个人都建议使用另一个模块。 Urllib2或urllib3无法实现这一点吗?
或者我是否必须使用其他模块,如请求?
请建议