Question

当我提交python文件以这种方式触发

spark-submit driver.py

它开始显示很多与python 2打印方法有关的警告。

18/10/19 01:37:52 WARN ScriptBasedMapping: Exception running /etc/hadoop/conf/topology_script.py 10.5.1.112
ExitCodeException exitCode=1:   File "/etc/hadoop/conf/topology_script.py", line 63
    print rack
             ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(rack)?

有没有类似spark-submit driver.py -W ignore的方式？

>> 我知道这是python2的警告，我的代码在python3中，所以我只想忽略python2警告。这些警告甚至在控制权进入我的代码之前就开始显示。因为spark-submit首先在加载python文件上运行，然后再运行。

Answer 1

您使用的是python 3，但是用python 2编写？

请参考以下问题：What does "SyntaxError: Missing parentheses in call to 'print'" mean in Python?

您还可以参考Configure logging in Apache Spark来使用log4j.properties文件设置默认日志级别。

您还可以在调用spark-submit或使用sc.setLogLevel("WARN")在代码内部时设置日志级别

还有另一个SO问题供参考：How to stop INFO messages displaying on spark console?

Answer 2

如果您想忽略Python警告，也许可以这样做：

Makefile

如何忽略Pyspark的火花提交警告

2 个答案: