不完整的数据保存在大桌子的HIVE上

时间:2016-06-14 09:29:58

标签: matlab hive save

我正试图在“物理上”保存我在Hive上的一张大桌子。

这些是它的属性:

  • numFiles 1
  • numRows 15849436012
  • rawDataSize 445824806987
  • totalSize 461674242999
  • transient_lastDdlTime 1463600633

这是我正在使用的代码(在此之前我还增加了文件的最大大小):

INSERT OVERWRITE DIRECTORY'/ directory / mytable' 行格式已删除 字段被','终止 选择 * 来自mytable;

生成一个Map命令,有492个映射器。这达到了完成,并且需要花费大量时间将表移动到目标文件夹。在某些时候(大约需要4-5个小时),该过程终止并保存一些子文件,即使每次都不同。

可用磁盘空间现在为3.5 TB。

当我尝试在Matlab上扫描时,我得到一个错误,指出“列/行缺失”,“数据似乎不是表格”,在过程结束时,我解释它表明文件夹的事实是不完整的。

你能帮帮我吗?

感谢。

0 个答案:

没有答案