如何提取保存在HDFS中的文件的一部分并将其另存为csv?

时间:2017-06-30 12:42:12

标签: pyspark hdfs

我的设备文件保存在HDFS中,我需要从该保存的文件中取100行 并在我的本地文件系统中保存为csv。

我试过这个命令:

hdfs dfs -text /path to hdfs/Device/* > DEvice.csv

2 个答案:

答案 0 :(得分:1)

hdfs dfs -copyToLocal /path_to_hdfs/Device/* path_to_local_file.csv | head -100

答案 1 :(得分:0)

 hdfs dfs -text /path to hdfs/Device/* | head -100 > DEvice.csv

这将获得前100行,从Hadoop文件解压缩并将它们存储到本地文件系统中的csv文件中。