困惑约2gb的火花极限

Question

由于Integer.MAX_INT的字节缓冲区限制，我读取了Spark中的2 GB限制。 我知道内存块大小不能因此而超过，因此RDD分区中的任何记录都应小于2gb。

但是我在这里读到{Why does Spark RDD partition has 2GB limit for HDFS?），RDD分区本身不能超过2gb。然后重新分区为较小的分区即可。 是真的吗请帮助我理解它。