从RDD中删除常量列并计算协方差矩阵

Question

我的RDD可能包含具有常量值的列。换句话说，一些列的方差可以是零。我的目标是从RDD中删除所有这些列（并最终计算剩余列的协方差矩阵）。我怎么能这样做？

谢谢和问候，

Answer 1

RDD应该是不可变的。所以我认为你不想从中移除某些东西，而只是map它适合你和/或filter某些东西（{{1}}中的更多细节{3}}）。