python urllib.open(url)但返回历史数据

时间:2013-06-10 13:40:18

标签: python session cookies web-scraping urllib

我使用python的urllib库每5秒检查一个网页的更新。 但是在我运行程序几个小时之后,似乎urllib.open(url)只返回过时的数据。它通常会延迟5-10分钟。我需要你的帮助。

    urlItem = urllib.urlopen("http://ka.game.163.com/")
    htmlSource = urlItem.read()
    urlItem.close()

1 个答案:

答案 0 :(得分:0)

这看起来像是一个缓存问题。缓存用于优化通信,因此不需要一直请求常见的请求数据。

当您致电urllib.open时,它会使用urlib.retrieve功能。此函数在本地缓存数据,因此为避免此缓存,您应在每次调用urllib.urlcleanup之前调用urllib.open。这在documentation

中说明

此外,您的问题与this one中描述的问题相同,请考虑查看