Question

hadoop还有哪些其他选项来自fs.default.name选项？

我正在尝试让hadoop运行GPFS而不是HDFS。我已经配置hadoop来使用IBM提供的libgpfs.so，libgpfshadoop.so和hadoop-1.1.1-gpfs.jar库。我遇到了core-site.xml配置（我怀疑）并启动了namenode。 SSH正常工作和配置。

使用以下命令启动namenode：

sbin/hadoop-daemon.sh --config $CONFIG_DIR --script hdfs start namenode

结果：

014-12-05 14:55:50,819 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: fs.defaultFS is gpfs:///
2014-12-05 14:55:50,941 WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
2014-12-05 14:55:51,063 FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.lang.IllegalArgumentException: Invalid URI for NameNode address (check fs.defaultFS): gpfs:/// has no authority.
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:423)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getAddress(NameNode.java:413)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress(NameNode.java:464)

我的核心网站配置：

<configuration>
    <property>
    <name>hadoop.tmp.dir</name>
        <value>/tmp/hadoop</value>
    </property>
    <property>
    <name>fs.default.name</name>
        <value>gpfs:///</value>
    </property>
    <property>
    <name>fs.gpfs.impl</name>
        <value>org.apache.hadoop.fs.gpfs.GlobalParallelFileSystem</value>
    </property>
    <property>
    <name>gpfs.mount.dir</name>
        <value>/mnt/gpfs</value>
    </property>
</configuration>

我认为hadoop期望fs.default.name包含用于传播其他配置选项的ip和端口，但由于我使用的是GPFS，所以我不需要。

一个想法......如果使用GPFS，我是否需要运行namenode？我可以用jobtracker运行hadoop吗？

在GPFS上运行Hadoop

0 个答案: