如何在Spark中执行简单的t检验？

Question

我的目标是使用https://spark.apache.org/docs/2.0.2/api/java/org/apache/spark/mllib/stat/test/StudentTTest.html中记录的方法在Spark Scala中执行t检验。我们假设我的数据是在数据框中给出的：

val df = Seq((1, 3), (-2, 5), (0, 4), (3, -1), (2, -1)).toDF("group1", "group2")

现在，我试过

import org.apache.spark.mllib.stat.test
val ttestResult = test.StudentTTest(df)

但这给我一个错误：<console>:29: error: object StudentTTest in package test cannot be accessed in package org.apache.spark.mllib.stat.test

我做错了什么？

Answer 1

这是因为您可能正在使用已淘汰该方法的Spark 2.2或Spark 2.3。参见org.apache.spark.ml.stat和org.apache.spark.mllib.stat.test https://spark.apache.org/docs/2.2.0/api/scala/index.html#org.apache.spark.package