下载包类型的spark有什么区别: 1)预先为hadoop 2-6-0及之后和 2)源代码(可以构建几个hadoop版本) 我可以为preoop 2-6-0以及之后的内容预先制作但我可以不使用(hadoop,hdfs,hbase)
ps:我的机器上已经安装了hadoop 2.6.0。
答案 0 :(得分:3)
最后的答案只针对Q1,所以写下来。 回答你的Q2是的,你可以在没有安装hadoop组件的情况下处理spark,即使你使用特定的hadoop版本预装了Spark。 Spark会在启动master / workers时抛出一堆错误,只要你看到它们并且正在运行,你就可以幸福地忽略它们。 在应用方面,它从来都不是问题。
答案 1 :(得分:2)
不同之处在于它们构建的hadoop API的版本。要与Hadoop安装互操作,需要针对该API构建Spark。例如org.apache.hadoop.mapred
vs org.apache.hadoop.mapreduce
如果您使用的是Hadoop 2.6,请获取与您的Hadoop安装相匹配的二进制版本。
你也可以从源头建立火花。这是源代码下载。如果您想从源代码构建,请按照此处列出的说明操作:https://spark.apache.org/docs/latest/building-spark.html