Question

我正在尝试使用“ --incremental append”将Sqoop增量导入到Hive表中。

我先进行了sqoop导入，然后为增量导入创建了作业。两者均已成功执行，并且新文件已添加到HDFS中相同的原始Hive表目录中，但是当我检查Hive表时，导入的观测值不存在。 Hive表等于在sqoop增量导入之前。

我该如何解决？我大约有45个Hive表，并希望在Sqoop增量导入后每天自动更新它们。

第一次Sqoop导入：

sqoop import \
--connect jdbc:db2://... \
--username root \
-password 9999999 \
--class-name db2fcs_cust_atu \
--query "SELECT * FROM db2fcs.cust_atu WHERE \$CONDITIONS" \
--split-by PTC_NR  \
--fetch-size 10000 \
--delete-target-dir \
--target-dir /apps/hive/warehouse/fcs.db/db2fcs_cust_atu \
--hive-import \
--hive-table fcs.cust_atu \
-m 64;

然后我运行Sqoop增量导入：

sqoop job \
-create cli_atu \
--import \
--connect jdbc:db2://... \
--username root \
--password 9999999 \
--table db2fcs.cust_atu \
--target-dir /apps/hive/warehouse/fcs.db/db2fcs_cust_atu \
--hive-table fcs.cust_atu \
--split-by PTC_NR \
--incremental append \
--check-column TS_CUST \
--last-value '2018-09-09'

Answer 1

如果不查看完整查询，可能很难理解/回答您的问题，因为您的结果还取决于您对参数和目录的选择。想分享您的查询吗？

Sqoop增量导入后，Hive表已过时

1 个答案: