我知道S3和其他一些文件系统可以取代HDFS,我想知道文件系统需要满足哪些要求才能用作MapReduce框架中HDFS的替代品?
答案 0 :(得分:0)
文件系统必须分布式或全局可访问,以便MapReduce
分布式执行,以便能够通过网络与之通信。
答案 1 :(得分:0)
Hadoop有一个文件系统的抽象概念,其中HDFS只是一个实现。 Java抽象类org.apache.hadoop.fs.FileSystem表示Hadoop中的文件系统,并且实现了几个具体实现,包括用于小型部署和/或测试目的的本地实现。
https://hadoop.apache.org/docs/current/api/org/apache/hadoop/fs/FileSystem.html