是否可以在hadoop3群集上（特别是HDP 3.1和CDH6（测试版））运行Spark（2.3）作业

Question

此外，CDH 6处于beta阶段，它们是否支持星火2.3，没有任何花哨的内容？是否可以在启用了hadoop 3的CDH或Hadoop群集上运行相同的旧spark 2.x版本（特别是2.3）？

我对了解yarn，hdfs和mapreduce API的向后兼容性更改感兴趣。

有人在生产中使用它吗？

Answer 1

CDH 6.0 GA于几周前宣布。除了Hadoop 3，它还将Spark 2.2 打包为默认的Spark版本：https://www.cloudera.com/documentation/enterprise/6/release-notes/topics/rg_cdh_600_new_features.html#spark_new_features。但是，可以将CDS单独升级到更高版本（2.3.x）。
根据{{​​3}}，CDH 6似乎不受Spark中HMS不兼容的影响。