Hadoop是否可以使用多个s3区域?

时间:2018-08-30 23:01:40

标签: hadoop amazon-s3 mapreduce

我正在读取的文件来自us-west

但是我正在写的存储桶在美国东部,有没有一种方法可以设置hadoop从多个存储桶中进行读写?

final String s3ExternalEndpoint = "s3-us-west-1.amazonaws.com";
conf.set("fs.s3a.endpoint", s3ExternalEndpoint);
conf.set("qubole.s3.standard.endpoint", s3ExternalEndpoint);

现在我看到阅读成功,但是写作失败。

 Error: com.qubole.com.amazonaws.services.s3.model.AmazonS3Exception: The bucket is in this region: us-east-1. 

0 个答案:

没有答案