在hive中导入数据平面文件而不定义hive表结构

时间:2012-09-06 06:43:46

标签: hive metadata import-from-csv

我可以将CSV或任何其他平面文件导入到配置单元中,而无需先在配置单元中创建和定义表结构。假设我的csv文件有200列,需要导入到hive表中。所以我必须首先在hive中创建一个表,并在该hive表中定义所有列名和数据类型并导入。有没有什么方法可以直接导入到hive中,它会自动从第一行创建表结构,比如sqoop import?

2 个答案:

答案 0 :(得分:3)

使用带有“hive-import”开关的sqoop&它将为您创建表格http://archive.cloudera.com/cdh/3/sqoop/SqoopUserGuide.html#_importing_data_into_hive

答案 1 :(得分:2)

检查您的hive-site.xml以获取该属性的值 javax.jdo.option.ConnectionURL。如果没有明确定义, 默认值将使用相对路径来创建配置单元 metastore(jdbc:derby :; databaseName = metastore_db; create = true) 将根据您启动流程的位置而有所不同。 这可以解释为什么你不能通过show tables看到这个表。

克服它的方法是在你的中定义这个属性值 使用绝对路径的hive-site.xml