如何将jar添加到正在运行的spark上下文中?

时间:2018-05-15 11:37:13

标签: apache-spark livy

详细说明,我正在使用livy创建一个spark会话,然后我将我的工作提交给livy客户端,该客户端在同一个spark会话中运行它们。现在,如果我需要在其中一个作业中添加一个新jar作为依赖项,有没有办法将jar放在正在运行的spark会话中?

我尝试过spark.jars,但它只在创建会话时读取,而不是在已经运行的会话中读取。

由于

1 个答案:

答案 0 :(得分:0)

我不这么认为。我不认为你可以用火花壳做到这一点。如果可以的话,livy的方法可能会变得清晰。尝试用谷歌搜索方法在spark-shell中进行操作,看看你是否有更好的运气来获得答案。