Question

如何正确设置这个 spark.driver.log.dfsDir？

我的 spark-defaults.conf：

spark.eventLog.dir                   hdfs://namenode:9000/shared/spark-logs
spark.history.fs.logDirectory    hdfs://namenode:9000/shared/spark-logs
spark.history.fs.update.interval   30s
spark.history.ui.port             8099
spark.history.fs.cleaner.enabled   true
spark.history.fs.cleaner.maxAge    30d
spark.driver.log.persistToDfs.enabled true
spark.driver.log.dfsDir            hdfs://namenode:9000/shared/driver-logs

在 Spark 驱动程序上使用 spark-submit 时出现以下错误。

21/05/19 15:05:34 错误 DriverLogger：无法将驱动程序日志保存到 dfs java.lang.IllegalArgumentException：路径名 /home/app/odm-spark/hdfs:/namenode:9000/shared/driver-logs from /home/app/odm-spark/hdfs:/namenode:9000/shared/driver-logs不是有效的 DFS 文件名。

为什么要将应用位置作为 URL 的前缀？

使用 Spark 3.1.1

Answer 1

正确的设置方法是：

spark.driver.log.dfsDir           /shared/driver-logs

如何正确设置 spark.driver.log.dfsDir 参数？

1 个答案: