配置单元 - 如何在不提供架构信息的情况下导入csv

时间:2014-10-13 21:42:52

标签: csv hadoop hive

是否可以导入csv文件而不在Hive Metastore中提供其标头或数据类型信息。因为它包含400个不同的列,因此它非常复杂。

此文件的大小为500 MB。我也将csv数据存储到HDFS。

(暗示Sqoop会帮忙。但是怎么样?)

1 个答案:

答案 0 :(得分:1)

是的。您可以使用Sqoop直接从数据库将数据加载到Hive中,而无需通过以下方式在Hive中定义表:

$ sqoop import --connect jdbc:mysql://db.foo.com/corp --table EMPLOYEES \
--hive-import