我是否需要用于pyspark脚本的sbt scala包构建器?

时间:2016-05-06 23:37:33

标签: python scala apache-spark sbt

如果我想使用python而不是scala使用spark,我是否需要sbt scala构建工具来组装jar文件,以便我可以在我的python脚本中使用这些包,还是需要其他工具?我几乎不存在java的知识,所以进入spark有点复杂。

感谢。

1 个答案:

答案 0 :(得分:2)

SBT是Scala Build Tool。如果您使用PySpark,则不需要SBT。

SBT(和maven)是用于编译和打包scala& amp; s的构建工具。 java应用程序。

pyspark的python脚本不能使用jar文件。您可以直接提交.py,.zip或.egg文件。

http://spark.apache.org/docs/latest/submitting-applications.html