如何远程提交Spark作业

Question

我有未安装spark的Node.js服务器，并且在其他服务器上安装了YARN设置。

要求是从Nodejs服务器远程运行spark作业。有人可以帮忙吗？。

感谢及时的答复。

Answer 1

不可能远程生成进程。我建议您采用以下方式，

1. 在运行Node服务器的位置安装spark，并将其用作客户端以指向实际的spark集群。您的节点服务器可以使用此客户端在远程集群上的客户端模式下触发作业。
2. 您可以在spark集群上设置rest api，并让您的节点服务器访问该api的端点，这将触发作业。

详细说明以上答案，选项1涉及在两个系统上都安装了spark-一个带有节点服务器和实际spark集群的系统。节点服务器上的Spark充当主Spark集群的客户端。选项2专注于创建一个处理触发器的rest API，这些触发器直接在主集群上启动spark作业，这样可以节省2次安装。

希望这会有所帮助。