Google Cloud Dataproc - Spark和Hadoop版本

时间:2015-09-24 09:00:55

标签: hadoop apache-spark google-cloud-platform google-cloud-dataproc

在Google Cloud Dataproc beta版中,Spark和Hadoop的版本是什么?

Spark为什么版本的Scala编译?

3 个答案:

答案 0 :(得分:5)

根据official announcement

  

今天,我们正在推出具有Spark 1.5和Hadoop的集群   2.7.1。

答案 1 :(得分:2)

Current Spark version info is listed in the docs。 Spark 2.1.0使用Scala 2.11。

答案 2 :(得分:0)

Spark的版本取决于使用的version of DataProc,当前使用的是Data Proc v1.2,并且具有

火花:2.2.1 Scala:2.11.8

为许多框架(包括具有以下版本的Kafka)的DataProc预定义了initialization scripts

卡夫卡:2.11.0.10.1 Kafka客户端:0.10.1