我已经在安装了CYGWIN的Windows中设置了Hadoop1.2.1。 我已经启动了sshd服务。 还启动了namenode,datanode,mapreduce(作业跟踪器,任务跟踪器)。我可以通过以下URL看到namenode,datanode和mapreduce的运行状态。
当我尝试通过eclipse连接hadoop时,我能够。虽然我能够从eclipse连接hadoop,但我没有在打开DFS位置时看到任何文件夹。它显示为(0)(参见图#1,
我猜没有可用的目录/文件。同样我用namenode存储检查(参见图2)
即使我尝试通过CYGWIN终端创建目录(参见图4),我也无法在eclipse环境中的DFS位置看到它。
话虽如此,我尝试使用WordCount示例,通过设置输入路径和输出路径如下, //指定输入和输出目录
FileInputFormat.addInputPath(conf, new Path("Input"));
FileOutputFormat.setOutputPath(conf, new Path("Output"));
当我从eclipse运行HDFS位置时,我得到了以下异常
13/10/30 06:52:44错误security.UserGroupInformation:PriviledgedActionException as:管理员原因:org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs:// localhost:47110 /用户/管理员/输入 org.apache.hadoop.mapred.InvalidInputException:输入路径不存在:hdfs:// localhost:47110 / user / Administrator / Input
问题:
为什么我无法看到我通过CYGWIN终端创建的目录以及任何文件夹?
“hdfs:// localhost:47110”指向什么?
我得到上述异常,因为它没有看到datanode中的目录?
我应该设置什么输入路径?
请就此向我提出建议。
提前致谢。
答案 0 :(得分:3)
首先你应该从头开始检查你的hadoop集群的所有设置,因为这个问题表明你没有使用hadoop集群正确配置你的日食
请参阅以下链接,以帮助您...
https://www.youtube.com/watch?v=TavehEdfNDk
还要检查dfs是否已连接到您的群集或意味着能够存储文件并在您的dfs中存储...