在Google Dataproc上升级Spark版本

Question

我有一个Dataproc集群v-1.2，目前有Spark版本2.2.0，但我们的程序目前失败，并且已在Spark版本2.2.1和2.3.0中引入了修复程序。有没有一种方法可以升级Spark版本，而不会影响或破坏当前集群中的任何依赖项。

Answer 1

仅供参考，Spark 2.3在Dataproc 1.3中可用：https://cloud.google.com/dataproc/docs/concepts/versioning/dataproc-versions。

gcloud dataproc clusters create <clustername> --image-version=1.3

Answer 2

您可以将spark升级到新版本2.3，但是有些内置功能无法在升级后使用，例如您无法直接从Google Cloud Storage打开文件。

Here is the link you can check the release date of all versions

他们发布了2.3版本，但我还没有检查。

我希望他们更改了默认版本。因为我想在pyspark中使用pandas_udf。