错误:必须指定主资源(JAR或Python文件) - Spark submit Python app

时间:2015-05-04 16:55:59

标签: python deployment apache-spark pyspark

我想完成一项简单的任务。我有一套工人。我想部署zip-archive,其中包含python files集。然后,我想发送一些command,过了一段时间,我想得到结果。

无论如何,我将文件提交给工人:

spark-submit --master spark://User-PC:7077 --py-files deploy.zip --name ParserExecutor

我有错误:

Error: Must specify a primary resource (JAR or Python file)
Run with --help for usage help or --verbose for debug output
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties

deploy.zip包含ParserExecutor.py

2 个答案:

答案 0 :(得分:3)

试试这个>>        spark-submit --master spark:// User-PC:7077 --py-files deploy.zip --name ParserExecutor ParserExecutor.py

答案 1 :(得分:0)

使用Spark 1.3.0+你也可以执行:

./spark-submit ParserExecutor.py