Hadoop组件是否有兼容性表?

时间:2019-04-09 09:19:01

标签: apache-spark hadoop

我想知道生态系统的各种Hadoop组件是否存在兼容性矩阵?

每次Hadoop升级都具有很大的兼容性影响,例如:

  • Apache Spark 2.4不支持Hadoop v3,
  • Hadoop不支持Java 9和10,
  • 依此类推...

我知道Hortonworks之类的供应商会在其发行版的每个版本中发布组件列表,但这并不适合广大公众使用,因为其中包括已修补的组件。

是否需要遍历Jira的所有错误跟踪器才能找到每种工具的兼容性问题?

1 个答案:

答案 0 :(得分:2)

像Cloudera / Hortonworks这样的公司所做的关键事情之一就是接管组成Hadoop的所有开源项目,并确保它们能够很好地协同工作。从功能和安全性角度来看,都进行了大量测试和调整,以确保所有内容共同构成一个适当的版本。

现在,您已经有了一些洞察力,只发布了一个发行版就花了很大的精力,并且比较侧重于最新版本,您可能会了解,除了这些发行版之外,将没有关于“一切如何工作的一切”的概述。 。

完全公开:我是Cloudera的雇员,但即使没有此信息,我仍然建议您在可能的情况下与发行版合作