我正在尝试使用spark_apply将R函数应用于Spark DataFrame。 在我的第一个问题中,我有一个列表列表,这些列表已经转换为R数据框,并且可以转换为Spark数据框。
但是在我的R函数中,我需要使用列表列表,但我不知道如何从数据框中获取列表的初始列表。
我已经找到了如何将我的dataFrame转换为列表:
lapply(seq(along = rownames(testP)),
function(i) as.list(testP[i, ]))
我终于有了24个列表的列表,但是我正在寻找8个列表的3个列表。
谢谢您的帮助!
答案 0 :(得分:0)
也许您可以通过以下代码激发自己的灵感。这不是解决方案,因为问题中没有数据集示例。
testP <- data.frame(X = rnorm(24), A = sample(letters[1:4], 24, TRUE))
f <- rep(c(1, rep(0, nrow(testP)/3 - 1)), 3)
sp <- split(testP, cumsum(f))
res <- lapply(sp, function(DF) apply(DF, 1, as.list))
str(res)