没有主键的Sqoop增量导入

时间:2017-07-16 12:11:46

标签: hadoop sqoop

我正在尝试使用增量导入将数据从MYSQL导入到Hive表。但我的桌子没有主键。我创建了一个sqoop工作。

示例MYSQL表数据

| Oct-14 |   581 |
| Nov-14 |   519 |
| Dec-14 |   605 |
| Jan-15 |   484 |
| Feb-15 |   584 |
| Mar-15 |   684 |
 Mar-15    684 

第一列是String数据类型,第二列是INT。

我的Sqoop工作

sqoop job \
--create test13 \
-- import \
--append \
--connect jdbc:mysql://localhost/tractor_sales --username root --P \
--query 'SELECT t.*,@rownum := @rownum + 1 AS rank FROM tractor_sales t,(SELECT @rownum := 0) r where $CONDITIONS' \
--split-by year \
--merge-key @rownum \
--check-column @rownum \
--hive-database salesforecast --hive-table tractor_sales \
--incremental append  \
--last-value 0 \
--hive-import \
--target-dir /user/cloudera/test;

尝试执行作业时出现以下错误

  

'每个派生表必须有自己的别名'

0 个答案:

没有答案