Sqoop job incremental lastmodified错误的时间戳值

时间:2017-06-12 09:54:21

标签: hadoop sqoop

我正在尝试使用增量lastmodified

创建 Sqoop作业
sqoop job --create job_import_test8_by_query_update -- import \
--bindir ./ --connect 'jdbc:mysql://localhost/db?serverTimezone=UTC&useSSL=false' \
--username user \
--password pass \
--table test8 -m 2 \
--incremental lastmodified \
--check-column "timestamp_field" \
--last-value  0 \
--split-by "id" \
--merge-key "id" \
--verbose \
--target-dir /usr/local/sqlImport/1

在这个例子中我遇到了last-value的问题。 当last-value为" 0"时第一次运行工作良好。然后最后一个值自动设置为 current_local_time + 4小时,所以我丢失了一些记录。

似乎last-value采用服务器时区值而不是数据库中的最后一个记录值。

感谢您的帮助!

1 个答案:

答案 0 :(得分:0)

尝试将useTimezone选项添加到连接字符串

--connect 'jdbc:mysql://localhost/db?useTimezone=true&serverTimezone=UTC'