Ubuntu Hadoop 2.7 HA未启用

时间:2015-06-05 11:36:16

标签: ubuntu hadoop

我的操作系统是Ubuntu 15.04&来自官方网站的tar -xzf hadoop2.7.0.tar.gz的Hadoop版本是2.7.0。

以下是一些情况: (我没有声名.LOL)

enter image description here

HOSTS文件:

enter image description here

配置并启动journalnode后,出现了一个疑惑问题:

enter image description here

我正在处理它很长一段时间。有人可以帮帮我吗?

这些是我的配置文件:

核心-site.xml中:

enter image description here

HDFS-site.xml中: enter image description here

enter image description here

enter image description here

mapred-site.xml中: enter image description here

1 个答案:

答案 0 :(得分:1)

在Ubuntu 15.04中尝试以下设置

$ sudo apt-get update

$ sudo apt-get install default-jdk

$ java -version

$ sudo apt-get install ssh

$ sudo apt-get install rsync

$ ssh-keygen -t dsa -P' ' -f~ / .ssh / id_dsa

$ cat~ / .ssh / id_dsa.pub>>的〜/ .ssh / authorized_keys的

$ wget -c http://apache.mirrors.lucidnetworks.net/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz

$ sudo tar -zxvf hadoop-2.7.0.tar.gz

$ sudo mv hadoop / usr / local / hadoop

$ update-alternatives --config java

$ sudo nano~ / .bashrc

      #Hadoop Variables
      export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
      export HADOOP_HOME=/usr/local/hadoop
      export PATH=$PATH:$HADOOP_HOME/bin
      export PATH=$PATH:$HADOOP_HOME/sbin
      export HADOOP_MAPRED_HOME=$HADOOP_HOME
      export HADOOP_COMMON_HOME=$HADOOP_HOME
      export HADOOP_HDFS_HOME=$HADOOP_HOME
      export YARN_HOME=$HADOOP_HOME
      export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
      export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

$ source~ / .bashrc

$ cd / usr / local / hadoop / etc / hadoop

$ sudo nano hadoop-env.sh

      #The java implementation to use.
      export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64"

$ sudo nano core-site.xml

      <configuration>
              <property>
                  <name>fs.defaultFS</name>
                  <value>hdfs://localhost:9000</value>
              </property>
      </configuration>

$ sudo nano yarn-site.xml

      <configuration>
              <property>
                  <name>yarn.nodemanager.aux-services</name>
                  <value>mapreduce_shuffle</value>
              <property>
              <property>
                  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                  <value> org.apache.hadoop.mapred.ShuffleHandler</value>
              </property>
      </configuration>

$ sudo cp mapred.site.xml.template mapred-site.xml

$ sudo nano mapred-site.xml

      <configuration>
              <property>
                  <name>mapreduce.framework.name</name>
                  <value>yarn</value>
              </property>
      </configuration>

$ sudo nano hdfs-site.xml

      <configuration>
              <property>
                  <name>dfs.replication</name>
                  <value>1</value>
              </property>
              <property>
                  <name>dfs.namenode.name.dir</name>
                  <value>file:/usr/local/hadoop/hadoop_data/hdfs/namenode</value>
              </property>
              <property>
                  <name>dfs.datanode.data.dir</name>
                  <value>file:/usr/local/hadoop/hadoop_store/hdfs/datanode</value>
              </property>
      </configuration>

$ cd

$ mkdir -p / usr / local / hadoop / hadoop_data / hdfs / namenode

$ mkdir -p / usr / local / hadoop / hadoop_data / hdfs / datanode

$ sudo chown chaal:chaal -R / usr / local / hadoop

$ hdfs namenode -format

$ start-all.sh

$ jps

http://192.168.56.10:8088/ http://192.168.56.10:50070/

我怀疑你在主从级别上有一些不正确的配置。请从上面的安装文档开始新的配置,它将工作。以上链接是为Ubuntu 14.04提供的,但它也适用于其他Ubuntu版本。