我需要将文件从一个hdfs文件夹传输到java代码中的另一个hdfs文件夹。
我可以问一下api我们可以调用在hdfs路径之间传输文件吗?
另外我想问一下,无论如何从java代码调用mapreduce作业?当然,这个java没有在hdfs中运行。
非常感谢你,周末愉快!
答案 0 :(得分:2)
我可以问一下api我们可以调用在hdfs路径之间传输文件吗?
使用o.a.h.hdfs.DistributedFileSystem#rename方法将文件从HDFS中的一个文件夹移动到另一个文件夹。该函数已被重载,其中一个方法将Options.Rename作为参数。
仅供参考....我没有检查过代码,但我认为重命名涉及更改名称空间而不是任何实际的块移动。
另外我想问一下,无论如何从java代码调用mapreduce作业?当然,这个java没有在hdfs中运行。
Hadoop是用Java编写的,所以应该有办法:)使用o.a.h.mapreduce.Job#submit和o.a.h.mapreduce.Job#waitForCompletion方法。