亚马逊s3的多线程问题得到请求

Question

我正在尝试列出具有非常大数据的s3存储桶中的对象。 我在多个线程（50到100个线程）中使用“listObjects”方法。对于每个线程，我给出commonPrefix，API将列出该commonprefix下的所有对象。 我必须在合理的时间内使用多个线程来提取大数据。所以我定义了100个线程，但我面临以下例外：

1. javax.net.ssl.SSLException：握手期间收到close_notify
2. java.net.SocketException：连接重置
3. java.net.SocketException：read timed out

我想知道多线程对亚马逊s3请求的有效使用

Answer 1

听起来亚马逊不希望你一次做100个查询。

此外，100个连接将对用户的网络连接造成巨大压力，并且可能比你想象的更慢，尤其是在某些系统上。

使用NIO Selector而不是100个线程会更聪明。