Question

我正在使用amazon aws cli工具启动AWS EMR集群。我有一个在master上运行的boostrap动作并运行以下命令

    hdfs dfs -put /home/hadoop/X.tar.gz /

但是我收到以下错误

    put: Call From X.internal/X1 to X.internal:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see:  http://wiki.apache.org/hadoop/ConnectionRefused

但是，一旦群集启动（此错误不会导致启动失败），我可以成功运行上述命令。

如何在bootstrap脚本中运行hdfs命令？

Answer 1

将其作为步骤运行，而不是操作。请参阅此处的示例：http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-hadoop-script.html

ResourceManager启动后，在引导脚本中运行操作

1 个答案: