我正在尝试在AWS EMR中运行以下启动脚本,但该脚本失败而未提供错误消息。我已经为以下应用程序设置了EMR集群:Spark,Hive,Ganglia和Livy。
sudo pip-3.6安装-U \ matplotlib \ 熊猫\ spark-nlp
我使用的是EMR版本6。以前我们只使用“ pip”而不是“ pip-3.6”,但是仍然出错,因此我们决定尝试使用“ pip-3.6”,因为我们假设EMR 6具有python 3.6 。
请让我知道这可能是什么问题。
谢谢!
答案 0 :(得分:0)
您可以尝试在正在运行的EMR群集上运行脚本,以确保其正常运行。 Emr的emr6发行说明建议python3是default。 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-release-6x.html
并快速检查一下,它似乎是python3.7附带的。这就是为什么您的脚本可能无法正常工作的原因。因此您将需要使用pip3或/usr/bin/pip-3.7(指定完整路径,可能未为pip-3.7设置别名)
因此改为尝试使用
$ sudo pip3安装matplotlib ...
或
$ sudo python -m pip3安装matplotlib ...