将Apache Spark版本从1.6升级到2.0

Question

目前我安装了Spark 1.6.2版。

我想将Spark版本升级到最新版本2.0.1。如何在不丢失现有配置的情况下执行此操作？

任何帮助都将不胜感激。

Answer 1

如果它的maven或sbt应用程序你只需更改spark的依赖版本，并根据2.0迁移你的代码，这样你就不会丢失配置。对于spark binary，你可以备份config文件夹。

Answer 2

与配置相关的变化不大，一些方法签名发生了变化，我观察到的主要变化是mapPartitions方法签名以及对度量/监听器api的一些更改，除了新功能。