在sparkR中收集DataFrame

时间:2015-08-04 06:57:35

标签: r sparkr

我在sparkR中有100个DataFrame。

us = filter(pg, pg$user_id==1)
us = filter(pg, pg$user_id==2)
....
us = filter(pg, pg$user_id == 100)

我想在新的DataFrame中收集它们。一种方法是这样做

for(i in 1:100){
us=filter(pg, pg$user_id==i)
all=unionAll(all, us)
}

现在'所有'是一个DataFrame,包含100个其他DataFrame。这需要一些时间在SparkR中运行,我想知道是否有更好的方法来做到这一点?

0 个答案:

没有答案