初始作业未接受AWS EMR中的任何资源

时间:2019-10-02 19:42:59

标签: apache-spark

我在AWS中有一个EMR集群。

我正在构建一个RStudio服务器以使用该群集。

我能够得到一个火花外壳并执行spark.sql("show tables").show并从运行RStudio的服务器上查看HDFS中的表。

但是,如果我执行spark.sql("select * from ny_taxi_hdfs limit 10").show,它将失败并显示错误。  最初的工作没有接受任何资源。

如果我从主人那里做同样的事情,就可以正常工作。

看起来好像是在使用纱线“(master = yarn,app id = application_1568817071939_0034)”

甚至不确定在哪里看。

1 个答案:

答案 0 :(得分:0)

防火墙/安全组。打开后,一切正常。 我讨厌问一个问题,一天后回答。