Amazon ElasticMapReduce（EMR）控制分割大小/映射器的数量

Question

如何更改此配置？ 对于我的应用程序，64/128的分割大小对我来说太多了，

我希望分割尺寸为16 mb。

我该怎么做？

Answer 1

您可以通过设置fs.s3n.block.size来更改默认块大小。请在代码中尝试如下 - jobConf.set（＆＃34; fs.s3n.block.size＆＃34;， value ）;

请参阅以下链接 - http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html

http://s3.amazonaws.com/awsdocs/ElasticMapReduce/latest/emr-dg.pdf