下载页面上的Spark包类型有什么区别?

时间:2015-06-01 17:18:31

标签: apache-spark spark-streaming apache-spark-sql

下载包类型的spark有什么区别: 1)预先为hadoop 2-6-0及之后和 2)源代码(可以构建几个hadoop版本) 我可以为preoop 2-6-0以及之后的内容预先制作但我可以不使用(hadoop,hdfs,hbase)

ps:我的机器上已经安装了hadoop 2.6.0。

2 个答案:

答案 0 :(得分:3)

最后的答案只针对Q1,所以写下来。 回答你的Q2是的,你可以在没有安装hadoop组件的情况下处理spark,即使你使用特定的hadoop版本预装了Spark。 Spark会在启动master / workers时抛出一堆错误,只要你看到它们并且正在运行,你就可以幸福地忽略它们。 在应用方面,它从来都不是问题。

答案 1 :(得分:2)

不同之处在于它们构建的hadoop API的版本。要与Hadoop安装互操作,需要针对该API构建Spark。例如org.apache.hadoop.mapred vs org.apache.hadoop.mapreduce

的可怕冲突

如果您使用的是Hadoop 2.6,请获取与您的Hadoop安装相匹配的二进制版本。

你也可以从源头建立火花。这是源代码下载。如果您想从源代码构建,请按照此处列出的说明操作:https://spark.apache.org/docs/latest/building-spark.html