通过intellij在本地计算机中启动时，如何存储spark的日志输出？

Question

我正在开发基于scala-spark的软件，我需要先在本地计算机上对其进行测试。每当我启动班级时，我都会通过Intellij IDEA获得输出，并希望将其存储，因为Intellij无法显示完整的日志，因此仅显示“几行”。

谢谢。

P.S。我附上我正在谈论的输出的屏幕截图，对不起，因为上面涂有蓝色油漆，但这是一种机密信息。 output I want to store

Answer 1

Spark使用log4j进行日志记录。默认配置记录到控制台。您需要通过更改conf文件夹中的现有文件，或通过选项log4j.properties将其传递给另一个文件来传递一个不同的-Dlog4j.configuration=file:/path/to/log4j.properties文件。

您也可以increase IntelliJ's console output buffer，使其不会截断。