将EMFS命令作为EMR步骤运行

Question

如何将hdfs命令作为EMR群集中的一个步骤发出？将步骤添加为script_runner.jar任务似乎很奇怪。

Answer 1

使用command-runner.jar并呼叫bash发出hdfs命令。

aws emr add-steps --cluster-id j-XXXXXXXXX --steps Name="Command Runner",Jar="command-runner.jar",Args=[/bin/bash,-c,"\"hdfs dfs -mkdir /tmp/foo\""]

请注意，最后一个参数作为单个转义引用字符串传递给bash。