Pyspark MLlib使Colab崩溃

Question

我正在将Mllib ALS与Google Colab结合使用，以训练具有600 mb大小的数据集的模型。当迭代次数小于20时，它可以很好地工作。但是当我将其设置为大于20时，运行时将断开连接。我认为这与内存不足密切相关。 即使我按照以下方式更改了Spark配置，问题仍然出现。

spark = SparkSession.builder.appName("App")\
.config("spark.executor.memory", "70g")\
.config("spark.driver.memory", "50g")\
.config("spark.memory.offHeap.enabled",True)\
.config("spark.memory.offHeap.size","12g")\
.config("spark.sql.broadcastTimeout", "360000")\
.getOrCreate()

我想问一下是否有解决方案可以解决有关Colab RAM或更改Spark配置的问题。