Google App Engine在本地和在线解析网站

时间:2014-04-22 10:18:51

标签: google-app-engine parsing localhost behavior

我正在使用Google App Engine和Python,我想解析这个website并获取随时间变化的显示数据。问题是:当我在本地运行应用程序时,应用程序运行正常,但当它在线运行时,它不会(显示相同的旧信息)。我使用的是一个名为urllib的库,我没有收到任何错误,只是相同的旧数据。我无法弄清楚发生了什么,所以我会很感激一些想法。

由于

1 个答案:

答案 0 :(得分:1)

这是因为App Engine缓存了http请求。

我不熟悉 urllib ,但使用 google.appengine.api 中的 urlfetch 来确保您从中获取新内容您需要设置缓存控制标题的网站,在下面的示例中,如果它不到30秒,它将只返回缓存页面,否则它将转到网站以获取新鲜的页面

content = urlfetch.fetch(url, headers = {'Cache-Control' : 'max-age=30'})