安装HDFS以与SHARK一起使用而不使用YARN

时间:2014-06-11 01:20:56

标签: hadoop hdfs apache-spark shark-sql

我正在尝试安装Apache Shark。其中一个要求是安装HDFS。 我不想使用YARN或MESOS。我只想要HDFS。我的问题是: 这是否意味着我只能在2.x之前安装hadoop发行版?如果是这样,哪一个?

或者我可以使用Hadoop 2.4并以某种方式禁用YARN吗?我真的不确定怎么做。我能找到的所有教程似乎都使用了YARN。有没有人对如何使用2.x的HDFS有任何建议?如果只想安装HDFS,我需要哪个hadoop发行版?

1 个答案:

答案 0 :(得分:0)

要使用shark,您需要安装:

  • 用于存储数据的HDFS
  • 蜂房
  • 用于内存使用的Spark

纱线不是强制性的