EMR引导程序失败

时间:2020-05-21 15:27:31

标签: amazon-web-services apache-spark pyspark amazon-emr

我正在尝试在AWS EMR中运行以下启动脚本,但该脚本失败而未提供错误消息。我已经为以下应用程序设置了EMR集群:Spark,Hive,Ganglia和Livy。

!/ bin / bash

sudo pip-3.6安装-U \ matplotlib \ 熊猫\ spark-nlp

我使用的是EMR版本6。以前我们只使用“ pip”而不是“ pip-3.6”,但是仍然出错,因此我们决定尝试使用“ pip-3.6”,因为我们假设EMR 6具有python 3.6 。

请让我知道这可能是什么问题。

谢谢!

1 个答案:

答案 0 :(得分:0)

您可以尝试在正在运行的EMR群集上运行脚本,以确保其正常运行。 Emr的emr6发行说明建议python3是default。 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html

并快速检查一下,它似乎是python3.7附带的。这就是为什么您的脚本可能无法正常工作的原因。因此您将需要使用pip3或/usr/bin/pip-3.7(指定完整路径,可能未为pip-3.7设置别名)

因此改为尝试使用

$ sudo pip3安装matplotlib ...

$ sudo python -m pip3安装matplotlib ...