从拥有超过500万行的hadoop下载巨大的csv文件

时间:2016-04-26 09:30:37

标签: csv hadoop

我必须从hadoop(使用HIVE编辑器)下载超过500万行的数据。我试图以csv文件格式下载,但下载的文件不允许超过100万行。怎么解决这个?

提前致谢。

2 个答案:

答案 0 :(得分:0)

Hue在下载和将大量数据流式传输到浏览器时表现不佳,因为它不是为此而设计的。 Hue很轻。

请查看此JIRA:https://issues.cloudera.org/browse/HUE-2142

答案 1 :(得分:0)

如果数据位于hive表中,您可以从数据所在的位置获取hadoop fs -get