我需要为SPARK设置HDFS,但不想启用YARN。我该怎么做?
在etc / hadoop / mapred-site.xml中指定它是否足够了:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
我还需要在sbin / start-dfs.sh之后使用sbin / start-yarn.sh启动Yarn吗?
任何帮助将不胜感激。
答案 0 :(得分:1)
非常确定你想要mapreduce.framework.name = classic
答案 1 :(得分:0)
如果您不想使用Yarn并且已安装它,请停止服务并永远不要启动它。
sudo service hadoop-yarn-resourcemanager stop
sudo service hadoop-yarn-nodemanager stop
sudo service hadoop-mapreduce-historyserver stop
答案 2 :(得分:-1)
您还需要在mapred-site.xml
中使用它<property>
<name>mapreduce.framework.name</name>
<value>local</value>
</property>
Value is "local" for MR1 and "yarn" for YARN.