Spark版本1.4.1而不是1.5.2 HdInsight

Question

我已经设置了Azure HdInsight Linux Spark Cluster，它应该附带1.5.2版本的Spark。但是，如果我尝试使用sparkContext.version输出版本号，我会继续获得1.4.1。

配置中是否可能缺少一个步骤？我一直在通过GUI和脚本启动集群。

Answer 1

这是我们身边的一个已知错误。二进制版本实际上是1.5.2，但报告不正确。