如何编写将spark-submit命令行记录到其日志输出中的PySpark脚本?
例如,当我跑:
spark-submit script.py arg1 arg2 --flag arg3 --out output
除了运行它的任务之外,我希望这个命令将该命令行记录到名为output.log的日志文件中,这样我就可以轻松地跟踪我如何运行它。
答案 0 :(得分:1)
尝试创建一个shell脚本来执行spark-submit,并使用给定的参数
@echo off
echo spark-submit script.py %1 %2 --flag %3 --out output >> output.log
spark-submit script.py %1 %2 --flag %3 --out output >> output.log
答案 1 :(得分:0)
创建一个bash脚本或python脚本来执行该命令。这将充当包装器,您可以在其中将输出记录到文件中。在python中,您可以使用os.system()
来执行spark-submit