我可以只将源文件中的特定数据加载到HIVE表中吗？

Question

我有一个包含400个值的管道分隔文本文件。其中我需要在位置[1,2,4,5,7,8,9,15,17,18,20 ...]中仅加载40个值到我的Hive表中，它怎么能实现？< / p>

Answer 1

通过本书：创建一个EXTERNAL表来映射你的文本文件，有400列;创建一个包含40列的托管表;然后使用SQL INSERT INTO TABLE target SELECT col1, col2, col4, ..., col72 FROM wide_source

实际上，您不需要映射所有400列 - 停在要在SQL中使用的最后一列并忽略其余列。