远程火花提交不通过paramiko工作

时间:2017-07-19 12:55:23

标签: python apache-spark spark-submit

我的火花程序在远程ubuntu系统中。现在我想使用paramiko(用于SSH2连接的python包)从windows系统执行它。

The program in windows for remote execution of spark program

问题是我可以在远程ubuntu系统中执行python程序,但不能执行spark程序。谁知道为什么?

1 个答案:

答案 0 :(得分:0)

最有可能你应该设置火花环境变量。在您想要启动的远程实例上,您的spark应用程序会在.bashrc文件中为spark创建一个条目

SPARK_HOME=*<path to your spark folder>*

export PATH=$SPARK_HOME/bin:$PATH

然后通过命令

获取更改后的.bashrc文件
source  ~/.bashrc