我在sparkR中有100个DataFrame。
us = filter(pg, pg$user_id==1)
us = filter(pg, pg$user_id==2)
....
us = filter(pg, pg$user_id == 100)
我想在新的DataFrame中收集它们。一种方法是这样做
for(i in 1:100){
us=filter(pg, pg$user_id==i)
all=unionAll(all, us)
}
现在'所有'是一个DataFrame,包含100个其他DataFrame。这需要一些时间在SparkR中运行,我想知道是否有更好的方法来做到这一点?