sqoop导入没有整数键的大表

时间:2018-07-11 14:15:22

标签: import sqoop

我发现在stackoverflow上有几篇文章:herehere,但是没有提供可行的解决方案。

在我的情况下,我的表有数十亿行,它没有以整数列作为键,这意味着如果我使用sqoop进行导入(进入配置单元),我将无法使用多个映射器。

由于表的大小很大,因此向其添加额外的整数字段是不现实的。

任何想法都值得赞赏。预先谢谢你。

1 个答案:

答案 0 :(得分:0)

拆分,默认情况下查找整数列。如果要使用字符串列执行拆分,则需要在Sqoop命令中启用属性:-Dorg.apache.sqoop.splitter.allow_text_splitter=true,并在--split-by子句中定义一个好的字符串列,然后使用-m来定义数字映射器。