标签: java api hadoop hdfs
我使用distCp进行了测试,但是我知道它仅用于在hdfs群集之间进行复制。我目前有一个使用copyFromLocalFile()复制的Java程序,但是即使使用线程也无法提高性能,但我知道该操作是串行的。多线程程序的性能与使用copyFromLocalFile()方法使用一组线程以及使用FSDataOutputStream的性能相同。
distCp
copyFromLocalFile()
FSDataOutputStream
是否可以将文件从远程服务器并行复制到群集hdfs?