Question

当我尝试更改GCP的错误日志记录时，我不明白为什么会收到以下错误消息。

编写/etc/spark/conf/log4j.properties时出错：没有这样的文件或目录

我是GCP的新手，想学习如何使用它，但是显然，无论遵循哪个教程，我都会不断出错。有什么好的教程可以推荐吗？

下面是我尝试过的教程，还有GCP文档中的更多内容。

感谢您的帮助。

Answer 1

Dataproc没有默认的log4j.properties，但是在/etc/spark/conf/log4j.properties.template处有一个模板（示例）文件。您可以复制模板并对其进行修改：

sudo cp /etc/spark/conf/log4j.properties.template /etc/spark/conf/log4j.properties

例如，设置log4j.logger.org.apache.spark.repl.Main=DEBUG。然后，再次运行spark-shell。

请注意，如果您要使用gcloud（本教程中的“下一步”）提交Spark作业，则可以使用--driver-log-levels：https://cloud.google.com/dataproc/docs/guides/driver-output#configuring_logging

来设置日志级别。