如何在分布式环境中将RDD [Vector]转置为spark,因为数据集很大

时间:2015-07-20 06:10:39

标签: scala apache-spark

我有RDD的向量,总计数是1868,向量的维数是1048576,我想转置这个RDD,我也尝试过使用scala中的基本逻辑,但由于它有大量的列非常多的时间,所以我需要分配火花编码,任何帮助将不胜感激。

0 个答案:

没有答案