亲爱的Apache Spark Comunity:
几个星期以来,我一直在阅读Spark的文档。我读了MLlib中的Logistic回归,我意识到Spark使用两种优化例程(SGD和L-BFGS)。
但是,目前我正在阅读ML中的LogistReg文档。我无法明确看到什么样的优化例程devlopers使用。我该如何申请这些信息?
非常感谢, Kevin Isaac Carbajal
答案 0 :(得分:-1)
关键在于他们正在使用的API。
MlLib专注于RDD API。 Spark的核心,但Sums,Avgs和其他类型的简单函数等过程在DataFrame过程中花费的时间更多。
ML是一个使用数据帧的库。该dataFrame具有基本函数的查询优化,如sums和某种类型的近似。
您可以查看此博客SonarQube Generic Test Coverage,这是ML应该比MlLib更快的原因之一。