在网站中获取特定网址的属性的最大限制是多少

Question

我在excel工作表中有大约5到6k的URL，我需要通过在excel中获取每个URL并在该特定URL中抓取所需的属性，在Python中使用Beautiful汤包构建一个抓取器，并且我需要循环输入所有5k网址。

可以一次完成此操作吗？

这些网站会因为数量大而阻止我们吗？还有其他最佳方法可以做到吗？

请对此提出建议！

Answer 1

您可以考虑以下几种不同方式：

1. 以一定的间隔定期发送请求，例如每5秒发送10次。

2. 使用不同的IP代理，因此服务器很难确定请求是否来自同一客户端。