如何判断网站是否阻止了我的抓取代码

Question

我正在学习有关Web抓取的知识，并且编写了一些代码，这些代码使用Python和Beautiful Soup 4从autotrader.co.uk抓取信息。有时代码会停顿然后崩溃。该错误消息与应该填充为空的列表有关。

崩溃后，我尝试在浏览器中手动访问该网站，并且该页面永不打开。如果我稍后再试，它将打开正常。

因此，我猜测该网站不希望我在短时间内访问过多，从而暂时阻止了我或诸如此类的访问。

我的问题是，有什么办法可以确定检查阻止我的请求的网站是问题吗？另外，有没有办法可以解决这个问题？也许通过在请求之间引入延迟？

Answer 1

您可以查看返回的响应：

import requests

url = 'https://www.autotrader.co.uk/'

response=requests.get(url)

print (response)

输出：

<Response [200]>

请查看代码为here的响应以获取想法