如果我想使用python而不是scala使用spark,我是否需要sbt scala构建工具来组装jar文件,以便我可以在我的python脚本中使用这些包,还是需要其他工具?我几乎不存在java的知识,所以进入spark有点复杂。
感谢。
答案 0 :(得分:2)
SBT是Scala Build Tool。如果您使用PySpark,则不需要SBT。
SBT(和maven)是用于编译和打包scala& amp; s的构建工具。 java应用程序。pyspark的python脚本不能使用jar文件。您可以直接提交.py,.zip或.egg文件。
http://spark.apache.org/docs/latest/submitting-applications.html