了解Spark版本

Question

当我在shell中提供pyspark时，它会在控制台中将spark版本显示为version 1.6.0。

但是当我给spark2-submit --version时，它会说version 2.2.0.cloudera2。

我想了解它们之间的区别以及pysprak运行的实际版本是什么？每当运行py脚本时，我都使用spark2-submit script.py。

Answer 1

在执行pyspark之前，请尝试设置spark版本的环境变量。尝试在终端上运行以下命令：

SPARK_MAJOR_VERSION = 2 pyspark

Answer 2

当我给pyspark2时，它会显示2.2.0版本。这与spark2-submit --version匹配。