使用sqoop将最后3天的增量数据从oracle加载到hdfs

时间:2018-01-29 09:09:21

标签: hadoop hive sqoop hadoop-streaming sqoop2

如何使用Sqoop将最近3天的增量数据从oracle导入hdfs。

目前我已经使用Shell-Script编写了通用sqoop命令,用于从多个工厂的多个oracle数据库导入数据。

所以任何人都可以帮我编写sqoop命令来导入过去3天的数据。

1 个答案:

答案 0 :(得分:0)

在SQOOP作业中,您可以发出SQL,因此在SQL语句中,您可以向Where子句添加日期函数,假设您从中提取的表具有日期列。

示例:select ,, ... from where> =(CURRENT-DATE -3);