Hadoop-Elasticsearch-Spark版本兼容性

时间:2018-08-22 07:26:09

标签: apache-spark hadoop elasticsearch

之前,我在5.3.0版中拥有Kibana / Elasticsearch。 在我的Java项目中,依赖项为:

  • hbase-client / server…1.2.1
  • hadoop-hdfs / common ... 2.5.1
  • elasticsearch-hadoop 5.3.0
  • 火花(spark-core_2.11)1.3.0

整个功能正常。

我想更新版本6.3.1中的Kibana / ES。 哪些版本的Hadoop / Spark兼容?我找不到兼容性矩阵...

  • hbase-client / server…?
  • hadoop-hdfs / common ...?
  • elasticsearch-hadoop 6.3.1吗?
  • 火花(spark-core_2.11)1.6.1吗?

谢谢。

1 个答案:

答案 0 :(得分:0)

  

elasticsearch-hadoop二进制文件适用于Hadoop 2.x(也称为YARN)环境。对Hadoop 1.x环境的支持在5.5中已弃用,并且将不再在6.0中进行测试。

Spark是针对Hadoop 2.6+构建的,因此您应该在此处将Hadoop升级为最小公分母。出于多种原因(例如错误修复)和AFAIK,RDD API处于“维护模式”,并且建议使用DataFrames,您肯定也应该使用Spark 2.x

HBase文档具有自己的兼容性图表,但与Elasticsearch没有关系。最新的稳定Hbase是1.4.3

不过,

1.2.1看起来像是 Hive 的版本号,并且该版本可以正常工作,但同样,不是最新的稳定1.x版本