Spark 1.6.1横幅显示

Question

Spark版本：hadoop 2.6的1.6.1
当我启动pyspark REPL（bin / pyspark）时，会显示SPARK徽标，我看到版本1.6.0而不是1.6.1。我无法解决这个问题 请注意，spark home文件夹中的RELEASE文件确实显示版本为1.6.1，所以我没有意外地下载1.6.0版本。

Answer 1

那里印刷的版本似乎来自Java方面。您确定Java库是最新的而不仅仅是PySpark吗？

以下是打印横幅的位置：

https://github.com/apache/spark/blob/v1.6.1/python/pyspark/shell.py#L64

它从上下文中读取版本，从Java上下文中获取它：

https://github.com/apache/spark/blob/v1.6.1/python/pyspark/context.py#L316

这里初始化了Java上下文，它是Java JavaSparkContext类的一个实例。

https://github.com/apache/spark/blob/v1.6.1/python/pyspark/context.py#L231