Spark中RDD数量的最大限制

Question

我是Spark新手，目前正在学习相关概念。我遇到的一个基本问题是Spark中RDD数量的限制是什么？

Answer 1

据我所知，Spark中的RDD数量没有限制。

唯一的限制是内存和磁盘交换空间Spark可以扩展/使用。

我一直在为生产中40吨的数据运行火花，但尚未达到任何限制。