100,000个HTTP响应代码检查

Question

我有一个~10000个链接的列表，我想查看HTTP响应代码。可能是以编程方式进行此检查的最佳方法？

我考虑使用以下Python代码：

import requests
try:
  for x in range(0, 100000):
    r = requests.head(''.join(["http://stackoverflow.com/", str(x)]))
    # They'll actually be read from a file, and aren't sequential
    print r.status_code
except requests.ConnectionError:
  print "failed to connect"

..但我不知道在一次拍摄中检查如此大量的URL的潜在副作用。想法？

Answer 1

我能想到的唯一副作用是时间，你可以通过并行提出请求来减轻这种影响。 （使用http://gevent.org/或https://docs.python.org/2/library/thread.html）。