如何提高Spark日志级别-称为Shutdown Hook

时间:2020-06-26 15:27:05

标签: python apache-spark pyspark

我遇到此错误,并被告知可以增加spark的日志级别来调查问题所在。我不确定该怎么做。请尝试提供逐步的指南,因为我是Spark的新手。

enter image description here

到目前为止,我已经尝试编辑log4j.properties文件,但出现“权限被拒绝”的情况。我认为管理员也不允许我对其进行编辑。

以下是我尝试运行的step1.sh文件的内容:

谢谢您的帮助。

更新:

因此,我检查了其中一个失败的应用程序的纱线记录。 这说明什么? enter image description here

0 个答案:

没有答案
相关问题