spark-defaults.conf中的多个服务器

时间:2019-09-13 13:29:36

标签: apache-spark cloudera

我有一个安装了Spark的Cloudera(Cloudera Express 5.4.1(jenkins在20150509-0041 git上创建的#197 git:003e06d761f80834d39c3a42431a266f0aaee736)。我希望spark-defaults.conf定义2个服务器。我们如何进行?

spark.eventLog.dir=hdfs://XXXX:8020/user/spark/applicationHistory
spark.eventLog.enabled=true
spark.yarn.historyServer.address=http://XXXX:18088

我希望它像

spark.eventLog.dir={hdfs://XXXX:8020/user/spark/applicationHistory,hdfs://YYYY:8020/user/spark/applicationHistory}
spark.eventLog.enabled=true
spark.yarn.historyServer.address={http://XXXX:18088, http://YYYY:18088}

0 个答案:

没有答案