Logistic回归如何在Spark中并行化？

Question

我想对用于在ML库中并行化逻辑回归的方法有一些了解，我已经尝试检查源代码，但我不了解该过程。

Answer 1

Spark使用所谓的迷你批量梯度下降进行回归：

http://ruder.io/optimizing-gradient-descent/index.html#minibatchgradientdescent

简而言之，它的工作原理如下：

1. 选择数据样本
2. 计算样本每行的渐变
3. 聚合渐变
4. 返回第1步

Spark的实际优化代码来自以下行： https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/mllib/optimization/GradientDescent.scala#L234