PigStorage如何为S3工作？

Question

我想知道Pig中的PigStorage如何将数据存储到S3？它是否将输出保存到HDFS然后将其复制？或者将每个reducer输出保存到每个reducer的本地目录，然后将它们复制到S3？我想这不能流，因为S3只支持放置文件或目录？

Answer 1

我的理解是每个reducer在本地写入其输出，然后将输出复制到S3。

正如您所说 - 由于S3不支持流式传输，因此减速器只能在完成处理后复制其输出。