Pig脚本上的多个AWS账户

Question

我希望从一个PIG脚本从EMR访问一个s3存储桶来自一个帐户，我有aws_access_key和aws_secret_key，我想将结果文件存储在另一个aws帐户上。 有什么方法可以做到这一点吗？我已经尝试过使用凭据的s3n路径，但它无法正常工作。

谢谢

Answer 1

我解决了这个改变PigStorage函数，在hdfs中存储结果，以及在cleanUpWithSucess方法上调用一个方法，该方法使用凭证将hdfs文件上传到s3。这样我可以在用于存储时将凭证传递给PigStorageFunction，当然我也改变了PigStorage的构造函数来接收这些参数。