Xargs命令不支持带有多个输入文件的hadoop put命令

时间:2015-06-06 04:15:29

标签: hadoop hdfs xargs

hadoop支持使用以下命令将多个本地文件复制到hdfs

hadoop fs -put localfile1 localfile2 /user/hadoop/hdfsdir

我们需要复制数十万个文件,由于内存问题,我们希望使用xargs在chuncks中复制。

但是下面的命令会给出错误。

echo "localfile1 localfile2" |xargs  -t -I {} hadoop fs -put {} /user/hadoop/hdfsdir

它提供了put: unexpected URISyntaxException error

此处localfile1localfile2是我目前工作目录中的文件。

单个文件命令正在运行,即

echo "localfile1" |xargs  -t -I {} hadoop fs -put {} /user/hadoop/hdfsdir

0 个答案:

没有答案