使用代理进行Java Web抓取

Question

我目前正在使用网站抓取服务，并提供所有相关服务（轮换代理，轮换用户代理，随机延迟）。 当并发请求量很少（最多4个）时，它对我有用。但是，当我提高并发性时，一段时间后，我被网页挡住了。但是，即使它是第一次使用，它也不会仅阻止一个代理，而是会阻止所有其他代理。我想了解他们如何找出来？我可以通过在请求标头中设置一些其他条目并旋转它们来阻止它们吗？ 预先感谢！