如何将pyspark矩阵转换为数据帧

时间:2020-10-20 17:40:50

标签: python matrix pyspark pyspark-dataframes cosine-similarity

将PySpark CoordinateMatrix转换为PySpark数据框 通过余弦相似度计算得到CoordinateMatrix 需要转换为PySpark Dataframe,以便我可以转换为pandas DataFrame进行分析

 for( i in names(df1[-1]) ){ df3[[i]] <- ( df1[[i]] == df2[df2$Question==i, 2])+0 }
 df3
  Name E4Q1 E4Q2 E4Q3 E4Q4 E4Q5
1  XYZ    1    0    0    1    0
2  DEF    0    1    0    0    0
3  GHJ    0    0    0    1    1
 

我将此用于余弦相似度,并且矩阵包含余弦相似度坐标

0 个答案:

没有答案