标签： python web-scraping beautifulsoup
我正在编写一个小型实验性应用程序，需要从许多网站上删除数据。
目前，我在后续请求和使用多个用户代理字符串之间添加了一个随机延迟（2-20秒）。 还可以做些什么来帮助网络刮刀逃避检测？
例如，设置referrer或x-forwarded-for标头是否有任何优势。
答案 0 :(得分：0)
也许使用tor并更改其频率以更频繁地更新IP地址？