PySpark应用程序在纱线群集模式下提交错误

Question

我正在尝试以群集模式提交我的PySpark应用程序，并且在提交应用程序时遇到以下错误。

注意：我的应用程序没有任何依赖项。

spark2-submit  --master yarn  --driver-memory 4g --executor-memory 8g --num-executors 50 --executor-cores 2 --conf spark.dynamicAllocation.enabled=false --py-files filepath

我收到以下错误

Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.

Answer 1

您必须将要提交的应用程序名称作为参数传递给spark-submit，即，将应用程序的文件名添加到spark-submit命令的末尾。

spark2-submit  --master yarn  --driver-memory 4g --executor-memory 8g --num-executors 50 --executor-cores 2 --conf spark.dynamicAllocation.enabled=false --py-files filepath **filename.py**