将PySpark CoordinateMatrix转换为PySpark数据框 通过余弦相似度计算得到CoordinateMatrix 需要转换为PySpark Dataframe,以便我可以转换为pandas DataFrame进行分析
for( i in names(df1[-1]) ){ df3[[i]] <- ( df1[[i]] == df2[df2$Question==i, 2])+0 }
df3
Name E4Q1 E4Q2 E4Q3 E4Q4 E4Q5
1 XYZ 1 0 0 1 0
2 DEF 0 1 0 0 0
3 GHJ 0 0 0 1 1
我将此用于余弦相似度,并且矩阵包含余弦相似度坐标