PySpark计算相关

Question

我想使用pyspark.mllib.stat.Statistics.corr函数来计算两列pyspark.sql.dataframe.DataFrame对象之间的相关性。 corr函数需要rdd Vectors个df['some_name']个对象。如何将rdd的{​​{1}}列转换为Vectors.dense个@IncidentDate对象？

Answer 1

应该没有必要。对于数字，您可以使用DataFrameStatFunctions.corr直接计算相关性：

df1 = sc.parallelize([(0.0, 1.0), (1.0, 0.0)]).toDF(["x", "y"])
df1.stat.corr("x", "y")
# -1.0

否则您可以使用VectorAssembler：

from pyspark.ml.feature import VectorAssembler

assembler = VectorAssembler(inputCols=df.columns, outputCol="features")
assembler.transform(df).select("features").flatMap(lambda x: x)

Answer 2

好的我明白了：

v1 = df.flatMap(lambda x: Vectors.dense(x[col_idx_1]))
v2 = df.flatMap(lambda x: Vectors.dense(x[col_idx_2])) 

Answer 3

df.stat.corr("column1","column2")