我们可以参考s3桶的输入路径用于mapper和reducer用于运行MR作业吗？

Question

我想指向我的mapper和reducer来读取s3存储桶中的输入文件并将结果存储在EMR集群中。
这样做的最佳方式是什么？

Answer 1

你只是give s3://bucket/key syntax for your inputs and outputs

您无需为Hadoop to read/write to S3

设置EMR

但如果你这样做，你should use EMRFS使用Consistency View来更快地读取S3