我们可以在纱线群集上运行apache spark 1.1.0吗？

Question

我在ubuntu上使用spark 1.1.0。使用以下命令提交给使用纱线的火花

  

./ bin / spark-submit --class path.to.your.Class --master yarn-cluster [options] [app options]

我收到错误

  

无法加载YARN类。此副本的Spark可能尚未使用YARN支持进行编译。   使用--help运行使用帮助或--verbose运行调试输出

我找到的解决方案是运行另一个版本的spark，它使用yarn进行预编译。将项目迁移到最新版本需要花费很多精力。 我可以用相同的spark-1.1.0版本在纱线集群上运行我的罐子吗？如果是，怎么样？

Answer 1

你需要在纱线群集和ubuntu中使用相同版本的spark才能成功运行spark app。

在开发和部署期间使用不同版本会产生问题。