我的火花程序在远程ubuntu系统中。现在我想使用paramiko(用于SSH2连接的python包)从windows系统执行它。
The program in windows for remote execution of spark program
问题是我可以在远程ubuntu系统中执行python程序,但不能执行spark程序。谁知道为什么?
答案 0 :(得分:0)
最有可能你应该设置火花环境变量。在您想要启动的远程实例上,您的spark应用程序会在.bashrc文件中为spark创建一个条目
SPARK_HOME=*<path to your spark folder>*
export PATH=$SPARK_HOME/bin:$PATH
然后通过命令
获取更改后的.bashrc文件source ~/.bashrc