hadoop teragen不会将文件存储在我指定的目录中

时间:2015-09-28 12:27:25

标签: hadoop yarn

我做了以下事情:

hadoop jar /home/yarn/hadoop-2.4.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar teragen 10 /home/yarn/terasort-input

teragen执行给我看似正常的终端输出,但指定目录中没有任何内容?我做错了什么或我应该在哪里检查?

1 个答案:

答案 0 :(得分:1)

我明白了。

输出文件存储在HDFS中,我需要做

hadoop fs -ls

例如:

hadoop jar hadoop-mapreduce-examples-2.4.1.jar teragen 10 terainput

terainput文件夹中生成以下文件,总大小为10 x 100字节。

yarn@master:~$ hadoop fs -ls terainput
Found 7 items
-rw-r--r--   2 yarn supergroup          0 2015-09-29 05:14 terainput/_SUCCESS
-rw-r--r--   2 yarn supergroup        200 2015-09-29 05:14 terainput/part-m-00000
-rw-r--r--   2 yarn supergroup        200 2015-09-29 05:14 terainput/part-m-00001
-rw-r--r--   2 yarn supergroup        100 2015-09-29 05:14 terainput/part-m-00002
-rw-r--r--   2 yarn supergroup        200 2015-09-29 05:13 terainput/part-m-00003
-rw-r--r--   2 yarn supergroup        200 2015-09-29 05:14 terainput/part-m-00004
-rw-r--r--   2 yarn supergroup        100 2015-09-29 05:14 terainput/part-m-00005