Sqoop没有将所有记录从HDFS导出到MySQL

时间:2018-01-15 12:00:10

标签: mysql hadoop hdfs sqoop

我目前正在学习Hadoop。我正在练习如何使用Sqoop将数据从HDFS导出到MySQL,当时我注意到Sqoop没有将所有记录从HDFS文件导出到MySQL。 HDFS文件总共有296条记录(全部不同),而MySQL表中的记录只显示227条记录。 MySQL中的表有3列 - > job_title varchar(50)主键,success_rate decimal(5,2),petition_count int。使用的sqoop export命令是:

sqoop export --connect jdbc:mysql://localhost/h1b2 --username root --password 'abcd' --table h1bfinal --export-dir /h1b/queries/pigqueries/Q_010/p* --update-mode allowinsert --update-key job_title --input-fields-terminated-by '\t';

Message shown after mapping is done

但是如果我删除“--update-mode allowinsert”命令它会完美运行(但如果我这样做的话,它不会在MySQL表中插入记录)。

0 个答案:

没有答案