提交pyspark作业时出现语法错误

Question

我已经通过VMware在ubuntu 14上设置了hadoop和spark。我试图在独立模式下在spark / examples / ...中运行wordcount的python脚本，但是它给出了语法错误。

    ./bin/spark-submit --master yarn --deploy-mode client --executor-memory  2g  usr/local/spark/examples/src/main/python/wordcount.py '/usr/local/spark/README.md'
     File "<stdin>", line 1
    ./bin/spark-submit --master yarn --deploy-mode client --executor-memory 1g 
    /usr/local/spark/examples/src/main/python/wordcount.py '/usr/local/README.md'
        ^
    SyntaxError: invalid syntax

我是火花的初学者，请告诉我如何解决它......

Answer 1

wordcount.py需要两个输入参数，请参阅here

Answer 2

我已经解决了这个错误，因为我从bin目录而不是Spark目录调用./bin/spark-submit。它没有处理两个参数代码使用单个参数指定文件路径。