有没有办法在不创建jar的情况下将Spark应用程序提交到集群？

Question

我正在构建一个服务，它接受一串Spark代码在集群上执行。有没有办法让我将Spark上下文设置到集群并执行而不构建jar并提交它？

Answer 1

实际上，您可以使用spark shell，或者查看类似IBM Spark Kernel，Zeppelin等的东西来拥有一个长期运行的Spark Context，您可以提交代码并使其运行。正如您几乎肯定已经知道的那样，在接受字符串并在集群上执行它们时要非常小心（例如，只能从受信任的来源）。