我了解到如果你想将多个文件从一个hadoop文件夹复制到另一个hadoop文件夹,你可以更好地创建一个大的' hdfs dfs -cp'包含大量组件的语句,而不是创建多个hdfs dfs -cp语句。 随着“更好”'我的意思是它会缩短复制文件所需的时间:一个命令比几个单独的-cp命令相继运行更快。
当我这样做并且我的目标目录与我要复制的所有文件相同时,我会收到警告。
我正在执行以下命令:
hdfs dfs -cp -f /path1/file1 /pathx/target /path2/file2 /pathx/target /path3/file3 /pathx/target
执行后,我收到以下警告:
cp: `/pathx/target' to `/pathx/target/target': is a subdirectory of itself
虽然我得到了这个奇怪的警告,但副本本身也应该成功。 这是一个错误还是我错过了什么?
答案 0 :(得分:10)
尝试使用以下语法:
hadoop fs -cp /path1/file1 /path2/file2 path3/file3 /pathx/target