浏览Hadoop中的文件夹

Question

我向deboox ssh说它为Hadoop而且如果我说hadoop fs -ls我得到了很多文件，包括

drwxr-xr-x   - root hadoop          0 2013-07-11 17:49 sandeep
drwxr-xr-x   - root hadoop          0 2013-04-10 14:13 testprocedure
drwxr-xr-x   - root hadoop          0 2013-04-03 13:56 tmp

我需要进入那个tmp文件夹，看看这里的Hadoop shell命令，但仍然没有找到它的命令。 http://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html

那么去那个文件夹的命令是什么？

Answer 1

指定目录名称，如下所示：

hadoop fs -ls tmp

我的演示VM的示例输出：

hadoop fs -ls

[cloudera@localhost ~]$ hadoop fs -ls
Found 12 items
-rw-r--r--   1 cloudera supergroup         46 2013-06-18 21:18 /user/cloudera/FileWrite.txt
-rw-r--r--   1 cloudera supergroup         13 2013-06-18 15:34 /user/cloudera/HelloWorld.txt
drwxr-xr-x   - cloudera supergroup          0 2013-07-01 22:07 /user/cloudera/hiveext
drwxr-xr-x   - cloudera supergroup          0 2012-06-12 15:10 /user/cloudera/input
-rw-r--r--   1 cloudera supergroup        176 2013-06-18 23:07 /user/cloudera/input_data.txt
drwxr-xr-x   - cloudera supergroup          0 2012-09-06 15:44 /user/cloudera/movies_input
drwxr-xr-x   - cloudera supergroup          0 2012-09-06 17:02 /user/cloudera/movies_output
drwxr-xr-x   - cloudera supergroup          0 2012-09-06 14:53 /user/cloudera/output
drwxr-xr-x   - cloudera supergroup          0 2013-07-01 23:45 /user/cloudera/sample_external_input
-rw-r--r--   1 cloudera supergroup         16 2012-06-14 01:39 /user/cloudera/test.txt
drwxr-xr-x   - cloudera supergroup          0 2012-06-13 00:00 /user/cloudera/weather_input
drwxr-xr-x   - cloudera supergroup          0 2012-06-13 15:13 /user/cloudera/weather_output

当我指定目录hadoop fs -ls sample_external_input时：

[cloudera@localhost ~]$ hadoop fs -ls sample_external_input
Found 2 items
-rw-r--r--   1 cloudera supergroup         61 2013-07-01 23:17 /user/cloudera/sample_external_input/sample_external_data.txt
-rw-r--r--   1 cloudera supergroup         13 2013-07-01 23:18 /user/cloudera/sample_external_input/sample_external_data2.txt

Answer 2

如果在-ls之后没有指定任何内容，则文件夹将是“home”目录中的文件夹。如果要提供相对于主文件夹的路径，可以这样做

hadoop fs ls tmp/someTmpStuff

（假设tmp是主目录中的文件夹）或使用完全限定的路径

hadoop fs ls /user/me/tmp/someTmpStuff

Answer 3

  

我需要进入那个tmp文件夹，看看Hadoop shell   在这里的命令，但仍然没有找到它的命令。   http://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html

没有像 cd 那样可以将我们带入目录。因此，您无法像在本地FS中那样访问该文件夹。您可以使用其他人建议的 ls ，但这只是列出目录中的内容而不会将您带到该目录。如果您真的想进入特定目录，可以使用HDFS WebUI。您可以将网络浏览器指向 NameNode_Machine：50070 ，然后转到那里。它允许您浏览整个HDFS。您也可以查看和下载文件。

Answer 4

首先，您需要检查是否有hadoop访问权限。如果是，则使用命令：

[yourhost]$ hadoop fs -ls /dir1/

它将列出 dir1

内的目录或文件