每次提交批处理作业时，livy服务器都会提交jar

Question

在使用Livy服务器提交Apache Spark批处理作业时，它会每次上传jar文件（包含应用程序），即每个批处理作业提交。这似乎增加了作业提交时间。有没有办法引用jar存在在spark master本地目录中？

Answer 1

我不确定您是在谈论将Livy客户端的jar文件上传到Livy服务器还是从Livy服务器上传到Spark集群。如果那是从Livy客户端到服务器那么我相信将这些jar文件放在/usr/lib/livy/repl_2.11-jars中就可以了。