在由一个主服务器和一个工作服务器组成的spark独立集群上运行spark-submit时，caffe python模块由于错误ImportError: No module named caffe
每当我在本地运行作业时，这似乎都不是问题
spark-submit --master local script.py caffe模块导入得很好。
环境变量目前在~/.profile下设置为spark和caffe，它们指向PYTHONPATH。
~/.profile是设置这些变量的正确位置，还是需要系统范围的配置，例如在/etc/profile.d/下添加变量
答案 0 :(得分：0)
请注意，CaffeOnSpark团队将Caffe移植到由Hadoop和Spark支持的分布式环境中。你不能，我99.99％肯定，在Spark集群或任何分布式环境中单独使用Caffe （没有任何修改）。 （众所周知，Caffe团队正致力于此）。
如果您需要使用Caffe进行分布式深度学习，请按照https://github.com/yahoo/CaffeOnSpark/wiki/build中提到的构建方法为此构建CaffeOnSpark并使用CaffeOnSpark而不是Caffe。
但是，最好的办法是遵循GetStarted_standalone wiki或GetStarted_yarn wiki来创建分布式环境以进行深度学习。
此外，要添加python，请浏览GetStarted_python wiki。
此外，由于您提到您使用的是Ubuntu here，请使用~/.bashrc更新您的变量环境。您必须在更改后获取文件：source ~/.bashrc