Dataproc上的Spark 2.0和Scala 2.11?

时间:2016-08-01 09:57:30

标签: google-cloud-dataproc

Spark 2.0 final已于上周发布 - 我们何时可以在Dataproc上看到它? Spark 2.0默认使用Scala 2.11 - 这是否意味着Dataproc将使用Scala 2.11?

Scala 2.11实际上是我们最热切期待的功能。 Scala 2.10已经老了,我们想要使用一些我们不能使用的库,因为它们不支持2.10。

2 个答案:

答案 0 :(得分:1)

Dataproc有一个preview image version与Spark 2.0(目前是早期的RC)和Scala 2.11,您可以在今天试用。

生产用例不支持它,因为它不太经过审查,我们会在将预览细化为新的完全支持的图像版本时推动重大变更。当它完全稳定后,我们将发布一个带有Spark 2和Scala 2.11的新映像版本。

答案 1 :(得分:1)

为了做到这一点,本周新发布的Cloud Dataproc 1.1包含Spark 2.0和Scala 2.11,主要用于生产用途。有关详细信息,请参阅release notes