在Hadoop（HDFS）中获取文件的最后5行

Question

我的Hadoop集群中有几个文件（在HDFS上）。我想看看每个文件的最后5行。有一个简单的命令吗？

Answer 1

如果你想在HDFS中查看文件的最后5行（而不是更多或更少），你可以使用以下命令，但效率不高：

hadoop fs -cat /your/file/with/path | tail -5

这是hadoop中更高效的命令，但是它返回数据的最后一个千字节，而不是用户指定的行数：

hadoop fs -tail /your/file/with/path

以下是对hadoop tail命令的引用：http://hadoop.apache.org/docs/r0.18.3/hdfs_shell.html#tail