我在不同的MySQL实例中有两个MySQL表,它们的表结构相同。如何使用Sqoop将它们组合到一个蜂巢表中?在两个表中可能存在重复的记录,我也只想在这些重复项上保留一个记录。
Sqoop命令是这样的:
sqoop import --connect jdbc:mysql://10.17.1.110:3306/test --username hadoop_sync --password 'sync_password' --table t --hive-table history_test_t --hive-database snapshot --fields-terminated-by ',' --hive-overwrite --hive-import -m 1 --hive-partition-key dt --hive-partition-value 2018-07-13 --delete-target-dir --create-hive-table