Hive CSV导入限制

时间:2014-04-09 19:05:43

标签: hive hiveql

我有一个包含大约330万行的大型csv文件,我已将其上传到Hive Metastore并从中创建了一个表。

然而,当我跑

从表中选择count(*)

查询它,它只显示大约170万行。

我跑了

从表格中选择*

查询并将结果下载为csv,该文件中只有大约170万行。

csv文件是否有大小限制,您可以将其导入到配置单元并从中创建表?

任何提示都非常感谢。

1 个答案:

答案 0 :(得分:0)

我建议您再次检查您的文件,您说的情况可能会出现在很多情况下:

1。)你在文件中没有那么多记录。

2.。)您的部分行未被新行分隔,这意味着记录正在合并。这就是为什么你的记录越来越少。

希望这有助于...... !!!