我有一个包含大约330万行的大型csv文件,我已将其上传到Hive Metastore并从中创建了一个表。
然而,当我跑
时从表中选择count(*)
查询它,它只显示大约170万行。
我跑了
从表格中选择*
查询并将结果下载为csv,该文件中只有大约170万行。
csv文件是否有大小限制,您可以将其导入到配置单元并从中创建表?
任何提示都非常感谢。
答案 0 :(得分:0)
我建议您再次检查您的文件,您说的情况可能会出现在很多情况下:
1。)你在文件中没有那么多记录。
2.。)您的部分行未被新行分隔,这意味着记录正在合并。这就是为什么你的记录越来越少。
希望这有助于...... !!!