Spark集群:没有HDFS的独立模式

时间:2015-12-16 23:28:51

标签: memory apache-spark rdd

我们有一个独立的Spark群集。对于群集,如果RDD内存存储空间不足,则会将数据溢出到磁盘。没有HDFS时,数据到底在哪里?每个从节点的本地磁盘?

谢谢!

1 个答案:

答案 0 :(得分:1)

据我所知,所有数据都溢出到由spark.local.dir定义的本地目录,与HDFS访问无关。