什么是SPARK_SUBMIT_OPTIONS中的CPS？

Question

在AWS EMR /etc/zeppelin/conf/zeppelin-env.sh中，它有此

export SPARK_SUBMIT_OPTIONS="$SPARK_SUBMIT_OPTIONS \
--conf 'spark.executorEnv.PYTHONPATH=/usr/lib/spark/python/lib/py4j-src.zip:/usr/lib/spark/python/:<CPS>{{PWD}}/pyspark.zip<CPS>{{PWD}}/py4j-src.zip' \
--conf spark.yarn.isPython=true"

<CPS>中的spark.executorEnv.PYTHONPATH是什么？

Answer 1

CPS =“类路径分隔符”（例如，Linux上的“：”和Windows上的“;”）

请参阅https://issues.apache.org/jira/browse/YARN-6554以获取参考。

你看到的这个设置混合了两个和'：'有点奇怪。实际上，为了与平台无关，它应该代替所有'：'。但是，由于EMR仅支持在AmazonLinux上运行，因此它不需要与平台无关。