尝试为在Amazon EMR上运行的Pyspark安装pandas

Question

这个问题可以真正适用于任何Python包。我有一个在我的Spark作业之前运行的引导脚本，我假设我需要在该脚本中安装pandas。我尝试过很多不同的东西，但似乎没什么用（pip install，easy_install，yum install等）。无法导入Spark pandas时，作业全部失败。我正在运行EMR v5.12.1和Python 3.4。

Answer 1

sudo python3 -m pip install pandas

这是我们在bootstarp.sh安装pandas时所写的内容。