Apache Spark 2.3.1与HDP 3.0中的Hadoop 3.0的兼容性

Question

我打算从Hortonworks Data Platform [HDP]（版本2.6.x）升级到HDP 3.0。但是，Apache Spark 2.3.x及其与Hadoop 3.0的集成似乎存在一些主要错误，而Apache Spark JIRA问题仍未解决。尽管Spark开发团队正在努力解决这些问题。这些问题是否由Hortonworks团队提供了解决方法/解决方案，或者它们仍然存在于HDP 3.0中？

与我的用例有关的一些未解决的问题：

1. Spark DataFrames不适用于Hadoop 3.0 https://issues.apache.org/jira/browse/SPARK-18673
2. Kerberos票证续订在Hadoop 3 https://issues.apache.org/jira/browse/SPARK-24493中失败
3. 在Hadoop 3 https://issues.apache.org/jira/browse/SPARK-23534上运行的火花

Answer 1

我检查了与HDP Spark-2.3.1和Hadoop 3.0.1的集成。它可以完美运行，并且上述问题在HDP版本的Spark中已解决，但在HDP-3发行说明中未提供。 检查社区answer