我有一个包含两列的文件，第一列是源文件的hdfs路径，第二列是目标文件的hdfs路径：
s1，t1 s2，t2 ..，.. sn，tn
将源路径复制到各自目标路径的最快方法是什么。是否有这样的工具用于hadoop？
列表大概是100-200行，每个文件只有几兆字节。
答案 0 :(得分：0)
如果这是一种一次性的情况，那么这还不够大，不用担心。一个愚蠢的OL'shell循环会很好：列表大概是100-200行，每个文件只有几兆字节。
cat pairs-file | while read pair; do hdfs dfs -cp $pair; done