Question

从一个例子开始，我试图做LinearRegression。问题是我得到了错误的结果。作为拦截器，我应该：2.2。

我试图在另一篇文章中添加.optimizer.setStepSize（0.1），但仍然得到一个奇怪的结果。建议？

这是数据集

1,2
2,4
3,5
4,4
5,5

代码：

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.mllib.regression.LabeledPoint
import org.apache.spark.mllib.regression.LinearRegressionModel
import org.apache.spark.mllib.regression.LinearRegressionWithSGD
import org.apache.spark.mllib.linalg.Vectors

object linearReg {
  def main(args: Array[String]) {
    StreamingExamples.setStreamingLogLevels()
    val sparkConf = new SparkConf().setAppName("linearReg").setMaster("local")
    val sc=new SparkContext(sparkConf)
    // Load and parse the data
    val data = sc.textFile("/home/daniele/dati.data")
    val parsedData = data.map { line =>
      val parts = line.split(',')
      LabeledPoint(parts(0).toDouble, Vectors.dense(Array(1.0)++parts(1).split(' ').map(_.toDouble)))
    }.cache()
    parsedData.collect().foreach(println)
    // Building the model
    val numIterations = 1000
    val model = LinearRegressionWithSGD.train(parsedData, numIterations)
    println("Interceptor:"+model.intercept)
    // Evaluate model on training examples and compute training error
    val valuesAndPreds = parsedData.map { point =>
      val prediction = model.predict(point.features)
      (point.label, prediction)
    }
    valuesAndPreds.collect().foreach(println)
    val MSE = valuesAndPreds.map { case (v, p) => math.pow((v - p), 2) }.mean()
    println("training Mean Squared Error = " + MSE)

    // Save and load model
    model.save(sc, "myModelPath")
    val sameModel = LinearRegressionModel.load(sc, "myModelPath")
  }
}

结果：

weights: [-4.062601003207354E25], intercept: -9.484399253945647E24

更新 - 使用.train方法 - 增加1.0作为拦截的附录。数据以这种方式出现，附加1.0附录

Answer 1

您正在使用run，这意味着您传入的数据被解释为“已配置的参数”，而不是要回归的功能。

docs包含良好的培训示例，然后运行您的模型：

//note the "train" instead of "run"
val numIterations = 1000
val model =  LinearRegressionWithSGD.train(parsedData, numIterations)

结果是更准确的重量：

scala> model.weights
res4: org.apache.spark.mllib.linalg.Vector = [0.7674418604651163]

如果要添加截距，只需在密集向量中放置一个1.0值作为要素。修改您的示例代码：

...
LabeledPoint(Parts(0).toDouble, Vectors.dense(Array(1.0) ++ parts(1).split(' ').map(_.toDouble)))
...

第一个特征是你的拦截。

Spark mllib LinearRegression奇怪的结果

1 个答案: