带有SPARK 1.6的Cloudera Quickstart VM

Question

这不是编程问题，但是有人可以启发我为什么Cloudera仍仅在其Quickstart VM上提供SPARK 1.6吗？当人们出于教育目的下载本软件时，该软件有什么价值？他们仍然使用Java 1.7。

Answer 1

几乎没有理由维护1.6作为Cloudera Quickstart VM发行版。

尝试安装SPARK 2.2会遇到各种问题。

我现在正在使用具有标准功能但没有IMPALA的mapR v6沙盒。我与cloudera quickstart vm在一起的日子已经过去了。

Answer 2

当我在VM中看到旧版本的spark时，我也感到惊讶。当我使用包裹亲自安装Cloudera 5.11时，默认的Spark版本为1.6。尽管存在，但可以将其抑制，并且可以使用Spark2.2宗地在同一cloudera版本上启用Spark 2.2。自安装以来，我一直在无缝使用此组合。我使用Spark从Hive获取数据，并将结果持久化回Hive在内存中进行后期处理（使用Spark）。