Question

这是我得到的警告：

S3AbortableInputStream：并非所有字节都从S3ObjectInputStream中读取，从而中止HTTP连接。这可能是错误，可能导致次优行为。通过范围GET仅请求您需要的字节，或在使用后消耗输入流。

我尝试使用try with resources但是S3ObjectInputStream似乎没有通过此方法关闭。

 try (S3Object s3object = s3Client.getObject(new GetObjectRequest(bucket, key));
      S3ObjectInputStream s3ObjectInputStream = s3object.getObjectContent();
      BufferedReader reader = new BufferedReader(new InputStreamReader(s3ObjectInputStream, StandardCharsets.UTF_8));
    ){
  //some code here blah blah blah
 }

我也试过下面的代码并明确关闭，但这也不起作用：

S3Object s3object = s3Client.getObject(new GetObjectRequest(bucket, key));
S3ObjectInputStream s3ObjectInputStream = s3object.getObjectContent();

try (BufferedReader reader = new BufferedReader(new InputStreamReader(s3ObjectInputStream, StandardCharsets.UTF_8));
){
     //some code here blah blah
     s3ObjectInputStream.close();
     s3object.close();
}

任何帮助都将不胜感激。

PS：我只从S3读取两行文件，文件中有更多数据。

Answer 1

我遇到了同样的问题，下课帮助了我

@Data
@AllArgsConstructor
public class S3ObjectClosable implements Closeable {
    private final S3Object s3Object;

    @Override
    public void close() throws IOException {
        s3Object.getObjectContent().abort();
        s3Object.close();
    }
}

现在您可以在没有警告的情况下使用

try (final var s3ObjectClosable = new S3ObjectClosable(s3Client.getObject(bucket, key))) {

//same code

}

Answer 2

要为Chirag Sejpal的答案添加一个示例（详细说明选项1），可以使用以下代码在关闭输入流之前从输入流中读取其余数据：

S3Object s3object = s3Client.getObject(new GetObjectRequest(bucket, key));

try (S3ObjectInputStream s3ObjectInputStream = s3object.getObjectContent()) {
  // Read from stream as necessary

  while (s3ObjectInputStream.read() != -1) {
    // Read the rest of the stream
  }

  // The stream will be closed automatically by the try-with-resources statement
}

Answer 3

我遇到了同样的错误。

正如其他人指出的那样，lambda中的/ tmp空间限制为512 MB。而且，如果将lambda上下文重新用于新的调用，则/ tmp空间已经是一半。

因此，当读取S3对象并将所有文件写入/ tmp目录时（如我所做的那样），我的磁盘空间不足。 Lambda错误退出，但并非读取S3ObjectInputStream的所有字节。

因此，需要牢记两件事：

1）如果第一次执行导致问题，请小心/ tmp空间。我们只有512 MB

2）如果第二次执行导致问题，则可以通过攻击根本问题来解决。无法删除/ tmp文件夹。因此，执行完成后，请删除/ tmp文件夹中的所有文件。

在Java中，这是我所做的，成功解决了该问题。

public String handleRequest(Map < String, String > keyValuePairs, Context lambdaContext) {
  try {
    // All work here
  } catch (Exception e) {
    logger.error("Error {}", e.toString());
    return "Error";
  } finally {
    deleteAllFilesInTmpDir();
  }
}
private void deleteAllFilesInTmpDir() {
  Path path = java.nio.file.Paths.get(File.separator, "tmp", File.separator);
  try {
    if (Files.exists(path)) {
      deleteDir(path.toFile());
      logger.info("Successfully cleaned up the tmp directory");
    }
  } catch (Exception ex) {
    logger.error("Unable to clean up the tmp directory");
  }
}
public void deleteDir(File dir) {
  File[] files = dir.listFiles();
  if (files != null) {
    for (final File file: files) {
      deleteDir(file);
    }
  }
  dir.delete();
}

Answer 4

按照Chirag Sejpal答案的选项＃1，我使用以下语句来消耗S3AbortableInputStream以确保连接可以重用：

com.amazonaws.util.IOUtils.drainInputStream(s3ObjectInputStream);

Answer 5

这是我的解决方案。我正在使用弹簧靴 2.4.3

创建亚马逊 s3 客户端

AmazonS3 amazonS3Client = AmazonS3ClientBuilder
                .standard()
                .withRegion("your-region")
                .withCredentials(
                        new AWSStaticCredentialsProvider(
                            new BasicAWSCredentials("your-access-key", "your-secret-access-key")))
                .build();

创建一个亚马逊转账客户端。

TransferManager transferManagerClient = TransferManagerBuilder.standard()
                .withS3Client(amazonS3Client)
                .build();

在/tmp/{your-s3-key}中创建一个临时文件，以便我们可以将我们下载的文件放在这个文件中。

File file = new File(System.getProperty("java.io.tmpdir"), "your-s3-key"); 

try {
    file.createNewFile(); // Create temporary file
} catch (IOException e) {
    e.printStackTrace();
}

file.mkdirs();  // Create the directory of the temporary file

然后，我们使用传输管理器客户端

从 s3 下载文件

// Note that in this line the s3 file downloaded has been transferred in to the temporary file that we created
Download download = transferManagerClient.download(
               new GetObjectRequest("your-s3-bucket-name", "your-s3-key"), file); 

// This line blocks the thread until the download is finished
download.waitForCompletion();

现在 s3 文件已成功传输到我们创建的临时文件中。我们可以得到临时文件的InputStream。

InputStream input = new DataInputStream(new FileInputStream(file));

因为不再需要临时文件，我们就删除它。

file.delete();

AmazonS3：获取警告：S3AbortableInputStream：并非所有字节都从S3ObjectInputStream读取，中止HTTP连接

5 个答案: