在sparklyr中是否有等效的cbind()或bind_cols()?

时间:2017-03-29 13:10:56

标签: r apache-spark spark-dataframe sparklyr

我尝试在sparklyR中绑定两个不同的数据帧(具有相同的行数 - 和行匹配)的简单操作。

例如:

library(sparklyr)
library(dplyr)

sc <- spark_connect(master = "local[*]")
iris_tbl <- copy_to(sc, iris, name="iris", overwrite=TRUE)

#check column names
colnames(iris_tbl)

#subset iris into two df's
subdf <- iris_tbl %>%
  select(Sepal_Length,Sepal_Width) 

subdf1 <- iris_tbl %>%
  select(Petal_length,Petal_Width,Species)

#try to bind back together
dfCombine <- bind_cols(subdf,subdf1)

我收到的错误消息:

#Error
Error in cbind_all(x) : basic_string::resize

我已尝试combine()cbind_allcbind()c()。没有人在工作。

2 个答案:

答案 0 :(得分:4)

为时已晚,我希望这对其他人有好处。

要绑定两个不同的数据帧(与R cbind相同),我们可以使用 sdf_bind_cols Sparklyr Reference

上述问题的代码:

sdf_bind_cols(subdf, subdf1)

答案 1 :(得分:2)

尝试使用

sub2 <- sdf_bind_row(subdf, subdf1)