有什么要求用作MapReduce的文件系统

时间:2012-08-28 03:53:16

标签: mapreduce hdfs

我知道S3和其他一些文件系统可以取代HDFS,我想知道文件系统需要满足哪些要求才能用作MapReduce框架中HDFS的替代品?

2 个答案:

答案 0 :(得分:0)

文件系统必须分布式全局可访问,以便MapReduce分布式执行,以便能够通过网络与之通信。

答案 1 :(得分:0)

Hadoop有一个文件系统的抽象概念,其中HDFS只是一个实现。 Java抽象类org.apache.hadoop.fs.FileSystem表示Hadoop中的文件系统,并且实现了几个具体实现,包括用于小型部署和/或测试目的的本地实现。

https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html