Amazon ElasticMapReduce(EMR)控制分割大小/映射器的数量

时间:2015-08-20 21:16:59

标签: hadoop amazon-web-services elastic-map-reduce

如何更改此配置? 对于我的应用程序,64/128的分割大小对我来说太多了,

我希望分割尺寸为16 mb。

我该怎么做?

1 个答案:

答案 0 :(得分:1)

您可以通过设置fs.s3n.block.size来更改默认块大小。请在代码中尝试如下 - jobConf.set(" fs.s3n.block.size", value );

请参阅以下链接 - http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html

http://s3.amazonaws.com/awsdocs/ElasticMapReduce/latest/emr-dg.pdf