我正试图在“物理上”保存我在Hive上的一张大桌子。
这些是它的属性:
这是我正在使用的代码(在此之前我还增加了文件的最大大小):
INSERT OVERWRITE DIRECTORY'/ directory / mytable' 行格式已删除 字段被','终止 选择 * 来自mytable;
生成一个Map命令,有492个映射器。这达到了完成,并且需要花费大量时间将表移动到目标文件夹。在某些时候(大约需要4-5个小时),该过程终止并保存一些子文件,即使每次都不同。
可用磁盘空间现在为3.5 TB。
当我尝试在Matlab上扫描时,我得到一个错误,指出“列/行缺失”,“数据似乎不是表格”,在过程结束时,我解释它表明文件夹的事实是不完整的。
你能帮帮我吗?
感谢。