Sqoop导出在没有主键的表中有重复的条目

时间:2017-11-06 13:34:33

标签: hadoop hdfs sqoop

我有一个表department_id,department_name,LastModifieddate;

当我运行如下命令时

sqoop export  \
--connect "jdbc:mysql://ip-172-31-13-154:3306/sqoopex" \
 --username sqoopuser \
 --password NHkkP876rp \
 --table dep_prasad \
 --input-fields-terminated-by '|' \
 --input-lines-terminated-by '\n' \
 --export-dir /user/venkateswarlujvs2821/dep_prasad/ \
 --num-mappers 2 \
 --outdir /user/venkateswarlujvs2821/dep_prasad

它工作正常并插入记录

当我修改HDFS中存在的文件并添加更多记录时 当我尝试导出它时。它会在我的sql中插入重复的条目 我第二次使用以下sqoop命令。

sqoop export  \
--connect "jdbc:mysql://ip-172-31-13-154:3306/sqoopex" \
 --username sqoopuser \
 --password NHkkP876rp \
 --table dep_prasad \
 --input-fields-terminated-by '|' \
 --input-lines-terminated-by '\n' \
 --update-key department_id \
 --update-mode allowinsert \
 --export-dir /user/venkateswarlujvs2821/dep_prasad/ \
 --num-mappers 2 \
 --outdir /user/venkateswarlujvs2821/dep_prasad

注意:我的表没有PRIMARY KEY

我想只更新新记录,我该怎么做?

0 个答案:

没有答案