哪些文件系统可用于检查点

时间:2016-01-07 00:03:15

标签: apache-spark hdfs spark-streaming checkpointing

文档说任何与Hadoop API兼容的文件系统(如HDFS,S3)都可以用作检查点目录。

我的问题是,除了HDFS和S3之外,使用Kafka和Cassandra的火花流应用程序还有哪些其他实用的替代方案。

由于

1 个答案:

答案 0 :(得分:0)

您可以使用任何类型的分布式文件系统,如GlusterGFSLuster等等,但前提是Spark API支持底层文件系统使用的协议。 / p>