如何在Pyspark中运行Python脚本

Question

我正在尝试在cloudera VM上的Pyspark中运行Python脚本

首先我通过

运行pyspark

$ which pyspark
$ pyspark

启动火花后，我尝试了：

$ spark-submit /home/cloudera/test.py

给我“名字'火花'未定义”

$ ./bin/spark-submit /home/cloudera/test.py

给我“SyntaxError：invalid syntax”

我知道网上有很多类似的问题，但我仍然无法弄明白。有人可以帮忙吗？

Answer 1

您必须从群集本身运行spark-submit shell。你不必进入它。

如果您想以交互方式运行代码（逐行输入或复制/粘贴），那么您将使用pyspark。

希望有所帮助