如何记录我键入的spark-submit命令行？

Question

如何编写将spark-submit命令行记录到其日志输出中的PySpark脚本？

例如，当我跑： spark-submit script.py arg1 arg2 --flag arg3 --out output

除了运行它的任务之外，我希望这个命令将该命令行记录到名为output.log的日志文件中，这样我就可以轻松地跟踪我如何运行它。

Answer 1

尝试创建一个shell脚本来执行spark-submit，并使用给定的参数

@echo off
echo spark-submit script.py %1 %2 --flag %3 --out output >> output.log 
spark-submit script.py %1 %2 --flag %3 --out output >> output.log 

Answer 2

创建一个bash脚本或python脚本来执行该命令。这将充当包装器，您可以在其中将输出记录到文件中。在python中，您可以使用os.system()来执行spark-submit