当我在我的独立ec2 spark集群上提交带有spark-submit的python脚本时。 我使用python 2.7.9，验证没有其他python在集群中运行。 - 我收到以下错误：
Z2我验证了numpy正在使用
对每个工作人员进行操作ImportError: No module named numpy
还手动将numpy包复制到/usr/local/lib/python2.7/site-packages 但问题仍然存在。
更新 问题不是根据这里的答案解决的。 问题是jupyter＆amp; numpy安装在主服务器上的1个docker映像上，程序在另一个映像上运行，没有安装python的numpy。 因此解决方案是将其作为程序的docker镜像的一部分安装，并在其中设置PYSPARK_PYTHON和PYTHONPATH的环境变量。