Google App Engine服务器是否阻止“reddit.com”上的urlfetch?

时间:2011-12-01 00:10:36

标签: google-app-engine

我正在尝试使用httpURLConnection来获取“http://www.reddit.com/r/WTF/comments/mv3mw/bad_time_for_smartassery_siri/.json”。

当我尝试不同的网址时,它运行正常。

当我尝试在本地运行时,它也可以正常工作。

当我部署它并在那里访问它时,它给了我503。

有人知道吗?

2 个答案:

答案 0 :(得分:1)

你可能会超过截止日期。

来自documentation of fetch

  

请求处理程序的截止日期最长为60秒,任务队列和cron作业处理程序的截止日期最长为10分钟。如果截止日期为无,则截止日期设置为5秒。

第一次加载页面时,我花了5秒多的时间。我会尝试将你的提取设置为更长的超时时间,然后看看你是如何进行的。

答案 1 :(得分:0)

不,Google不会阻止对Reddit的urlfetch请求。但是,Reddit可能会根据来源限制API请求,或者它们的API可能只是缓慢或不可靠。在我的测试中,对Reddit的请求经常失败但通常在几次重试后成功。 Twitter和其他流行的公共API也会出现类似的问题。

我的建议是增加您的请求截止日期,并将对Reddit的HTTP请求卸载到任务中。如果任务中的请求失败,则任务将退回并重试,直到成功为止。