标签: memory apache-spark rdd
我们有一个独立的Spark群集。对于群集,如果RDD内存存储空间不足,则会将数据溢出到磁盘。没有HDFS时,数据到底在哪里?每个从节点的本地磁盘?
谢谢!
答案 0 :(得分:1)
据我所知,所有数据都溢出到由spark.local.dir定义的本地目录,与HDFS访问无关。
spark.local.dir