关于hdfs中的传输文件

时间:2012-01-13 22:35:05

标签: java hadoop mapreduce hdfs

我需要将文件从一个hdfs文件夹传输到java代码中的另一个hdfs文件夹。

我可以问一下api我们可以调用在hdfs路径之间传输文件吗?

另外我想问一下,无论如何从java代码调用mapreduce作业?当然,这个java没有在hdfs中运行。

非常感谢你,周末愉快!

1 个答案:

答案 0 :(得分:2)

  

我可以问一下api我们可以调用在hdfs路径之间传输文件吗?

使用o.a.h.hdfs.DistributedFileSystem#rename方法将文件从HDFS中的一个文件夹移动到另一个文件夹。该函数已被重载,其中一个方法将Options.Rename作为参数。

仅供参考....我没有检查过代码,但我认为重命名涉及更改名称空间而不是任何实际的块移动。

  

另外我想问一下,无论如何从java代码调用mapreduce作业?当然,这个java没有在hdfs中运行。

Hadoop是用Java编写的,所以应该有办法:)使用o.a.h.mapreduce.Job#submito.a.h.mapreduce.Job#waitForCompletion方法。