如何将spark-submit的整个输出重定向到文件

Question

所以，我试图将apache spark-submit命令的输出重定向到文本文件，但是某些输出无法填充文件。这是我正在使用的命令：

spark-submit something.py > results.txt

我可以在终端看到输出，但我没有在文件中看到它。我在这里忘记或做错了什么？

编辑：

如果我使用

spark-submit something.py | less

我可以看到所有输出被传送到less

Answer 1

spark-submit将大部分输出打印到STDERR

要将整个输出重定向到一个文件，您可以使用：

spark-submit something.py > results.txt 2>&1

或

spark-submit something.py &> results.txt

Answer 2

如果您在群集上运行spark-submit，则日志将与应用程序ID一起存储。应用程序完成后，您可以看到日志。

yarn logs --applicationId <your applicationId> > myfile.txt

应该提取你的工作日志

当您提交spark作业时，会给出您的工作的applicationId。您将能够在提交的控制台或Hadoop UI中看到它。