sqoop:多个导出路径

时间:2016-02-10 00:11:11

标签: mapreduce hdfs etl sqoop

是否可以在单个sqoop命令中导出多个HDFS位置的文件?我试图在命令中指定多个--export-dir,但似乎只有一个是有效的。

2 个答案:

答案 0 :(得分:0)

假设您有三个文件:

.../basedir/folder_1/file.txt
.../basedir/folder_2/file.txt
.../basedir/folder_3/file.txt

要导出三个文件,请使用

--export-dir .../basedir/*/file.txt 

要导出folder_1,folder_2中的文件,请使用

--export-dir .../basedir/{folder_1,folder_2}/file.txt

答案 1 :(得分:0)

在oozie工作流程中并使用sqoop操作,您可以指定多个路径,其中每个路径来自job.properties:

<arg>--export-dir</arg>
<arg>${rootPath}/{${folder1},${folder2},${folder3}}</arg>

注意大括号。