标签： apache-spark apache-spark-sql
我正在运行一个Spark作业，它的输入已经分成了每个大小10 MB的分区。
当我以较小的总输入大小运行此Spark作业时，看不到任何内存不足（OOM），但是当我以较大的总输入大小运行此Spark作业时，则看到了OOM。
在两种情况下，都为执行程序分配了相同的内存量。在这两种情况下，每个执行器都有2个核心。在这两种情况下，每个任务的输入大小都相同，因为它们被分成大小为10 MB的分区。
当我以较大的总输入量运行这项工作时，您是否知道为什么我会看到OOM？