在多线程程序中使用Jsoup的400个Http错误

Question

我创建了一个解析html页面的程序。我在ThreadPool中的可调用类中使用jsoup connect函数。问题是我连接到同一个网站并且线程池大小为5+，我得到了IO Exceptions - 400个错误。

我怎么能不发生这种情况？

Answer 1

如果您收到400 HTTP响应，请检查响应内容以获取错误消息。 400表示某种不良请求：您未包含所有必需信息或包含格式错误的信息。当客户做了他们不喜欢的事情时，有些人也会把它当作一种全能的东西。如果您要做出很多不同的请求，请检查导致400的请求，看看它们是否有问题。如果它们看起来都是正确的，或者如果您反复发送相同的请求，那么您正在点击的网站可能存在某种速率限制，不允许您在特定时间范围内发出太多并发请求或过多请求。如果是这样的话，我希望在回复中会有一条消息告诉你发生了什么。