我想完成一项简单的任务。我有一套工人。我想部署zip-archive,其中包含python files
集。然后,我想发送一些command
,过了一段时间,我想得到结果。
无论如何,我将文件提交给工人:
spark-submit --master spark://User-PC:7077 --py-files deploy.zip --name ParserExecutor
我有错误:
Error: Must specify a primary resource (JAR or Python file)
Run with --help for usage help or --verbose for debug output
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
deploy.zip
包含ParserExecutor.py
。
答案 0 :(得分:3)
试试这个>> spark-submit --master spark:// User-PC:7077 --py-files deploy.zip --name ParserExecutor ParserExecutor.py
答案 1 :(得分:0)
使用Spark 1.3.0+你也可以执行:
./spark-submit ParserExecutor.py