无法看到mapreduce wordcount输出文件

Question

我按照michael nolls教程下载并安装haddop。我还运行了wordcount示例。但我看不出相同的输出。当我看到dfs中的文件时，我得到了我拥有的所有文件列表

但是，当我捕捉这些文件时，我收到错误

想知道那里出了什么问题......

Answer 1

您尝试使用的HDFS中的文件是一个目录（标志列显示drwxr-xr-x）。 Hadoop作业通常会将结果输出到一个目录，每个reducer一个文件（如果你运行没有reducers的作业，则每个mapper）。

那么该文件夹的内容，您应该看到一些part-r文件 - 尝试并捕获这些文件：

bin/hadoop dfs -cat /user/ravi/tempoutput.txt/part-r-*

Answer 2

运行wordcount示例的预期语法是：bin/hadoop jar hadoop-examples-1.0.4.jar wordcount <input_dir> <output_dir>。你的wordcount可能没有处理任何数据，因此你看不到任何结果。 尝试运行bin/hadoop jar hadoop-examples-1.0.4.jar wordcount /user/ravi/inputall /user/ravi/output，然后bin/hadoop dfs -ls /user/ravi/output查看结果。

此外，您应该检查地图的详细信息，在运行之后减少yob执行（直接在控制台中或使用Web界面）。应该有关于处理的输入记录/字节数的详细信息。您还可以在Web浏览器中浏览整个文件系统：http://localhost:50070/dfshealth.jsp