Question

需要在已配置的emr集群中执行shell脚本。下面是我正在执行的Java代码段。

HadoopJarStepConfig jarConfig = new HadoopJarStepConfig("s3://ap-south-1.elasticmapreduce/libs/script-runner/script-runner.jar").withArgs("s3://bucket_test/ExecuteRscript.sh", "INPUT=s3://bucket_test/Sample.r");
      StepConfig stepConfig= new StepConfig().withName("Test_Script_Execute").withActionOnFailure("CONTINUE").withHadoopJarStep(jarConfig);
      AddJobFlowStepsResult result = emr.addJobFlowSteps(new AddJobFlowStepsRequest()
              .withJobFlowId(clusterID)
              .withSteps(stepConfig));

要求执行Shell脚本，并使用S3存储桶中的输入文件，执行时出现错误。

在日志中它正在执行的脚本的格式为 hadoop jar /mnt/var/lib/hadoop/steps/s-2VV4H7F6OR9NJ/script-runner.jar s3：//bucket_test/ExecuteRscript.sh INPUT = s3： //bigdecisions-dev-data-ingestion/Sample.r 和错误日志以ret'2'退出的命令。帮助我解决如何使用S3存储桶中的输入文件执行Shell脚本。

谢谢普拉卡什（Prakash）

EMR Shell脚本执行

0 个答案: