spark2提交与spark提交有什么不同。我需要从spark 1.6 to spark 2.4迁移代码，我是否仍可以使用spark-submit来启动我的应用程序，还是必须迁移到spark2-submit。
答案 0 :(得分：0)
设置以下环境变量后，可以对Spark 2.X使用spark-submit：
1）SPARK_HOME到spark2-client的路径（例如/ usr / hdp / current / spark2-client） 2）SPARK_MAJOR_VERSION = 2
使用这两种配置，即使您在集群上同时安装了Spark 1.x和Spark 2.x，也可以通过spark-shell，spark-submit等相同的命令使用Spark 2.x运行作业。
答案 1 :(得分：0)
我认为您正在使用Cloudera Hadoop。与1.x版本相比，Spark 2.x版本具有重大更改。在某种程度上，存在兼容性问题。因此，当您使用1.x版本的现有生产作业在2.x上运行时，您的作业很有可能会失败。
仅仅为了提供向后兼容性，Cloudera添加了“ spark2-submit”，并要求用户将其用于所有“前进”作业。并且“火花提交”仍将使用1.x版本，您无需触摸任何生产作业。
这仅仅是出于兼容性原因。