Hadoop忽略Windows 10上的文件系统位置配置

时间:2018-04-22 18:38:49

标签: windows hadoop windows-10 hadoop2

我正在尝试在Windows 10上安装单节点hadoop。

我使用了各种指南,但都失败了。我使用的最后一个是https://github.com/MuhammadBilalYar/Hadoop-On-Window/wiki/Step-by-step-Hadoop-2.8.0-installation-on-Window-10

我把我的dfs混淆为

<property> 
    <name>dfs.replication</name> 
    <value>1</value> 
</property> 

<property> 
    <name>dfs.namenode.name.dir</name> 
    <value>file:///V:/DB/hadoop/namenode</value> 
</property>

<property> 
    <name>dfs.datanode.data.dir</name> 
    <value>file:///V:/DB/hadoop/datanode</value> 
</property>

格式化进展顺利。

不幸的是,当我运行start-all时,我进入了一个Windows

18/04/22 21:36:17 WARN datanode.DataNode: Invalid dfs.datanode.data.dir V:\DB\hadoop\datanode :
org.apache.hadoop.util.DiskChecker$DiskErrorException: Directory is not readable: V:\DB\hadoop\datanode
        at org.apache.hadoop.util.DiskChecker.checkAccessByFileMethods(DiskChecker.java:101)
        at org.apache.hadoop.util.DiskChecker.checkDir(DiskChecker.java:82)
        at org.apache.hadoop.hdfs.server.datanode.DataNode$DataNodeDiskChecker.checkDir(DataNode.java:2580)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2622)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2604)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2497)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2544)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2729)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2753)
18/04/22 21:36:17 ERROR datanode.DataNode: Exception in secureMain
java.io.IOException: All directories in dfs.datanode.data.dir are invalid: "/V:/DB/hadoop/datanode/"
        at org.apache.hadoop.hdfs.server.datanode.DataNode.checkStorageLocations(DataNode.java:2631)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:2604)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:2497)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:2544)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.secureMain(DataNode.java:2729)
        at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:2753)

看起来它在本地Windows路径规范方面存在问题。怎么办?

0 个答案:

没有答案