我最近使用“预览”图片在Google Cloud Dataproc上启动了Spark群集。根据文档，预览图像的Spark版本是“2.1.0”，但是运行spark-shell --version表明群集实际上正在运行Spark 2.2.0。这对我们来说是一个问题，因为我们的spark-avro版本与Spark 2.2.0不兼容。还有其他人遇到过这个问题吗？我无法找到谷歌关于版本颠簸的正式公告的痕迹。
答案 0 :(得分：2)
很抱歉，最近preview图像更新的次要发行说明在以太网中丢失了;希望明天更新文档。确实，你现在的Dataproc preview版本现在是Spark 2.2.0。如果您需要固定已知的旧预览图像，可以尝试：
gcloud dataproc clusters create --image https://www.googleapis.com/compute/v1/projects/cloud-dataproc/global/images/dataproc-1-2-20170227-145329
那应该包含Spark 2.1.0。也就是说，请记住，一般情况下，新的预览图像可能会发生不兼容的更改，并且不能确保旧的预览图像能够长期保存。
在您的情况下，您是否碰巧知道您是否正在点击此issue filed on spark-avro或者您的版本是否特定？理想情况下，我们应该让您更新到Spark 2.2，因为Spark 2.2即将推出官方（非预览）图像版本。