Sqoop。将数据导入基于日期的目录

时间:2015-11-11 00:16:10

标签: sqoop

我正在编写一个sqoop命令,该命令将转换为sqoop作业。但是我希望这份工作每天都能创建一个新目录。例如,当导入作业昨天运行时,它应该创建目录路径/ 2015/11/09,然后是今天/ 2015/11/10。

可以做弯腰吗?或者我应该生成sqoop命令以在日常基础上运行,并且动态创建适当的目录结构?

1 个答案:

答案 0 :(得分:0)

其实我找到了问题的答案。我们最终使用Oozie来安排我们的Sqoop命令。

我们可以从Oozie向sqoop传递参数,oozie为我们提供了一种表达式语言,我们可以动态地创建target-dir字符串。

我想最终无论使用哪种技术来安排工作,这对于构建target-dir param都是合理的。