如何在spark执行器上设置Python的优化模式（-O）？

Question

如何在Spark slave上运行的执行程序上设置python优化模式（-O param for interpreter）？

（显然，执行者的Python解释器是使用此行启动的

 val pb = new ProcessBuilder(Arrays.asList(pythonExec, "-m", "pyspark.worker")) 

org/apache/spark/api/python/PythonWorkerFactory.scala中的

。

但我没有看到设置-O标志的方法。）

Answer 1

Python可执行文件由PYSPARK_DRIVER_PYTHON或PYSPARK_PYTHON环境变量设置（后者为执行程序和驱动程序设置它）。您可以创建一个运行python -O的包装器：

#!/bin/sh
exec python -O "$@"

通过设置PYSPARK_PYTHON=/home/daniel/python_opt.sh。

来使用此包装器

Answer 2

您无法在Spark工作进程上设置-O。无论如何，这个选项大多没用。 （见What is the use of Python's basic optimizations mode? (python -O)。）