将Apache Spark安装文件夹复制到另一个系统可以正常工作吗？

Question

我正在使用Apache Spark。使用3台机器在群集中正常工作。现在我想在另外3台机器上安装Spark。

我做了什么：我试图复制我目前正在使用的Spark文件夹。

问题： ./bin/spark-shell和所有其他spark命令无效并抛出错误＆＃39; No Such Command＆＃39;

问题： 1.为什么它不起作用？

1. 我是否可以为1台机器构建Spark安装，然后从该安装我可以将其分发给其他机器？

我正在使用Ubuntu。

Answer 1

我们正在调查问题并发现 Spark安装文件夹，已被复制，具有 .sh 文件但不可执行。我们只是使文件可执行，现在火花正在运行。

Answer 2

是的，它会起作用，但应确保您已设置spark所需的所有环境变量。

喜欢SPARK_HOME，WEBUI_PORT等...

也使用hadoop集成的spark构建，它带有支持的hadoop版本。