即使使用硒也可以禁止IP吗？

Question

我正在使用Python至scrape页。到目前为止，我还没有任何问题。我使用Selenium来实现此目的，但我也确实听说人们从某些网站禁止使用IP。我没有面对过。这些人使用了beautifulsoup，lxml和requests库...

Selenium感觉像是用户正在使用浏览器而不是漫游器，但是某些网站是否可以禁止IP ？ 我还将标题user_agent用作：

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) ' \
                 'Chrome/80.0.3987.132 Safari/537.36'

Answer 1

是的，这取决于您发送到网站的请求，通常，数据抓取网站可以使您被禁止使用用户代理是一个加号，因为如果未设置该网站，某些网站将不允许您进入 如果您不想被禁止使用代理IP。