我们可以通过多列组合拆分Sqoop作业

时间:2015-11-30 08:42:02

标签: hadoop sqoop

我使用下面的Sqoop语法将Sqoop作业拆分为单列[主要是主键]。

  

sqoop import --connect jdbc:oracle:thin:@ // oracle_server:1521 / sid --username xxx --password xxx --table EMPLOYEE --split-by ID -m 10

如果主键不可用于拆分Sqoop作业,我们可以使用多列作为组合吗?

  

sqoop import --connect jdbc:oracle:thin:@ // oracle_server:1521 / sid --username xxx --password xxx --table EMPLOYEE --split-by FIRST_NAME,LAST_NAME - m 10

1 个答案:

答案 0 :(得分:1)

没有。我们只能在Split-by中使用一列,否则您将收到错误消息 - 无效的列名称' FIRST_NAME,LAST_NAME'。

请注意,如果您没有拆分列,则必须明确设置--num-mappers 1或-m 1