Hadoop DistCp通过重命名处理相同的文件名

Question

有没有办法运行DistCp，但有一个选项可以重命名文件名冲突？也许用一个例子来解释它是最容易的。

让我们说我要复制到hdfs：/// foo到hdfs：/// bar，而foo包含这些文件：

hdfs:///foo/a
hdfs:///foo/b
hdfs:///foo/c

和bar包含以下内容：

hdfs:///bar/a
hdfs:///bar/b

然后在副本之后，我希望bar包含类似的内容：

hdfs:///bar/a
hdfs:///bar/a-copy1
hdfs:///bar/b
hdfs:///bar/b-copy1
hdfs:///bar/c

如果没有这样的选择，那么最可靠/最有效的方法是什么？我自己的本土版本的distcp当然可以完成它，但这似乎可能是很多工作，而且很容易出错。基本上，我根本不关心文件名，只关心他们的目录，我想定期将大量数据复制到＆＃34;合并＆＃34; 。目录

Answer 1

Distcp没有该选项。如果您正在使用Java API，则可以通过检查目标路径是否存在并在路径已存在的情况下更改路径来轻松处理。您可以使用FileSystem方法检查exists(Path p)对象。