我发现在stackoverflow上有几篇文章:here和here,但是没有提供可行的解决方案。
在我的情况下,我的表有数十亿行,它没有以整数列作为键,这意味着如果我使用sqoop进行导入(进入配置单元),我将无法使用多个映射器。
由于表的大小很大,因此向其添加额外的整数字段是不现实的。
任何想法都值得赞赏。预先谢谢你。
答案 0 :(得分:0)
拆分,默认情况下查找整数列。如果要使用字符串列执行拆分,则需要在Sqoop命令中启用属性:-Dorg.apache.sqoop.splitter.allow_text_splitter=true
,并在--split-by
子句中定义一个好的字符串列,然后使用-m
来定义数字映射器。