火花执行者失败了

Question

我正在使用databricks spark cluster（AW​​S），并测试我的scala实验。 使用LogisticRegressionWithLBFGS算法训练10 GB数据时遇到了一些问题。 我遇到问题的代码块如下：

import org.apache.spark.mllib.classification.LogisticRegressionWithLBFGS
val algorithm = new LogisticRegressionWithLBFGS()
algorithm.run(training_set)

首先我得到了很多执行程序丢失失败和java内存问题，然后我用更多分区重新分区我的training_set并且内存不足问题消失了，但仍然让执行程序丢失了。

我的群集共有72个核心和500GB内存。 任何人都能对此有所了解吗？

Answer 1

LBFGS使用密集向量在内部存储beta（特征权重），一切都在内存中。因此，无论训练集中的特征稀疏，特征的总数都是值得注意的。

因此，要解决此问题，用户应增加执行程序内存或限制训练集中功能的总数。