在hadoop hdfs中查看数据格式的最佳方法是什么？

Question

将近50GB的CSV文件加载到Hadoop集群中，我想查看一些用于标识列的示例记录。

我尝试使用

hadoop fs -cat employees.csv | head -n 10

我的问题是

1. 查看数据的命令正确吗？
2. head -n 10-它会加载50 GB的数据，并且会过滤掉前10行？运作方式如何？
3. 还有其他更好的方法吗？

Answer 1

这取决于您的版本。

对于较早的Hadoop（<3.1.0）版本：

hadoop fs -cat employees.csv | head -n 10

对于较新的（> = 3.1.0）Hadoop版本

 hadoop fs -head employees.csv