Question

我希望我的reducer的输出被压缩（最好是gzip）。

我已成功使用c＃awssdk启动EMR作业，但不知道如何更改作业配置以获得所需结果。

我知道我需要为emr作业设置以下属性

mapred.output.compress：true

我如何在c＃代码中执行此操作？另外我如何让它生成gzip文件？

由于

Answer 1

 String[] zipArgs = new [] { "-jobconf", "mapred.output.compress=true"};

 HadoopJarStepConfig config = new StreamingStep()
            .WithInputs()
            .WithOutput()
            .WithMapper()
            .WithReducer()
            .ToHadoopJarStepConfig()
            .WithArgs(zipArgs)
            ;

您可以在以下网址找到更多信息 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-output-compression.html

如何使用c＃awssdk api更改emr作业配置

1 个答案: