通过检查500错误

Question

我使用Scrapy框架来抓取数据。如果遇到500错误，我的抓取工具将被中断。因此，在解析Web内容之前，我需要检查可用的链接 有什么方法可以解决我的问题吗？ 非常感谢你。

Answer 1

如果网址存在，您可以使用urllib的getcode（）方法进行检查：

import urllib
import sys

webFile = urllib.urlopen('http://www.some.url/some/file')
returnCode = webFile.getCode()

if returnCode == 500:
  sys.exit()

# in other case do something.