将具有自定义文件名前缀的Map-Reduce输出写入Amazon S3

时间:2019-06-21 08:27:05

标签: amazon-web-services hadoop amazon-s3 mapreduce reduce

未在S3存储桶中创建默认名称以外的输出文件夹。减速器程序使用org.apache.hadoop.mapreduce.lib.output.MultipleOutputs,来修改减速器输出文件名,因此我能够为输出文件名传递自定义前缀。当MR Job输出文件夹是S3存储桶时,看不到带有自定义名称的输出文件。 However, when the same job output folder is a hdfs folder, I see all the file names with the custom prefix.

有什么方法可以为HDFS配置Amazon S3的自定义输出文件名前缀吗?

0 个答案:

没有答案