使用Spark Shell时指定Spark环境API的选项

Question

是否有一个选项可以传递给spark-shell，指定您将运行代码的环境？换句话说，如果我使用Spark 1.3;我可以指定我希望使用Spark 1.2 API吗？

例如：

  

pyspark --api 1.2

Answer 1

spark-shell初始化org.apache.spark.repl.Main以启动REPL，它不解析任何命令行参数。因此，不能从命令行传递api值，您已经使用各自版本的spark中的相应spark-shell二进制文件。