hadoop支持使用以下命令将多个本地文件复制到hdfs
hadoop fs -put localfile1 localfile2 /user/hadoop/hdfsdir
我们需要复制数十万个文件,由于内存问题,我们希望使用xargs在chuncks中复制。
但是下面的命令会给出错误。
echo "localfile1 localfile2" |xargs -t -I {} hadoop fs -put {} /user/hadoop/hdfsdir
它提供了put: unexpected URISyntaxException error
。
此处localfile1
和localfile2
是我目前工作目录中的文件。
单个文件命令正在运行,即
echo "localfile1" |xargs -t -I {} hadoop fs -put {} /user/hadoop/hdfsdir