Sqoop-export分区的Hive表

时间:2015-10-13 10:53:45

标签: hadoop hive sqoop

我有一个由 override func tableView(tableView: UITableView, willDisplayCell cell: UITableViewCell, forRowAtIndexPath indexPath: NSIndexPath) { if (indexPath.row % 2) != 0{ cell.backgroundColor = UIColor .blackColor() }else{ cell.backgroundColor = UIColor .lightGrayColor() } } year列分区的Hive表。因此内容存储在Hive仓库中的多个递归目录中,在我的情况下,我有超过100个目录(分区)用于此表。

这里我不确定如何将hive表的目录详细信息提到week命令的--export-dir属性。

我是否必须在单独的sqoop-export命令中单独提及所有100 *目录?有没有办法在单个sqoop-export命令中提及所有嵌套目录?

如果还有其他更好的方法可以解决这个问题,请告诉我。

[注意:我的环境中没有Hcatalog,我只想更喜欢'export to hdfs directory'作为我的最后一个选项]

2 个答案:

答案 0 :(得分:1)

尝试使用所有分区创建外部表,并使用sqoop export中的外部表目录。

1)PART_TABLE(分区表);

2)创建exter表XX_DUMMY () 位置

3)从PART_TABLE

插入覆盖XX_DUMMY作为select *

4)运行Sqoop导出

尝试export-dir / user / name / *

答案 1 :(得分:0)

您是否尝试过以下操作?

  

- hive-partition-key分区的配置单元字段的名称在

上分片      

- hive-partition-value字符串值,用作此作业中导入到配置单元的分区键。