如何通过Apache Livy设置--master， - deploy-mode，--driver-class-path和--driver-java-options？

Question

我想设置 master ，spark deploy-mode ， driver-class-path 和 driver-java-options 用于通过Apache Livy触发作业时的Spark作业，而不必在这些设置更改时重新启动Livy服务器。 如何做到这一点，因为Livy没有直接的选择？

Answer 1

Livy不会将master和deploy-mode作为REST调用中的参数。这些值将取自livy.conf，如下所示：

livy.spark.master = yarn
livy.spark.deploy-mode = cluster

以上配置提到主服务器为yarn且部署模式为cluster。可以使用spark.driver.extraClassPath参数通过livy设置spark.driver.extraJavaOption和conf。

示例：

"conf":{ "spark.driver.extraClassPath":"<YOUR_EXTRA_CLASSPATH>",
         "spark.executor.extraJavaOptions":"-Dlog4j.configuration=/app/log4j.properties"}