Apache Spark可以在ZFS上运行吗?

时间:2018-01-25 23:01:48

标签: apache-spark distributed-computing zfs

我正在对ZFS进行一些研究,如果它可以用作分布式处理框架的一个组件。我试图回答的主要问题是 - 如果数据驻留在zfs中,Apache Spark是否会以高效的分布式方式运行?

即。 HDFS上的Spark具有数据局部性的概念,对ZFS也是如此。

1 个答案:

答案 0 :(得分:4)

可以将ZFS作为本地文件系统运行吗?无论如何。 ZFS符合POSIX标准,因此这里没有阻止程序。

它可以用作分布式文件系统的替代品吗?当然不。 ZFS是文件系统和卷管理器,而不是分布式存储。