在Sparkr中将DataFrame转换为Matrix

时间:2017-03-07 12:37:01

标签: r sparkr

我正在尝试将spark datafame(包含2列)转换为Matrix。但我觉得我用过的approch可能不正确,也没有创建矩阵。你能否告诉我如何将spark dataFrame转换为Matrix,反之亦然。

result1 <- read.df('/home/xxx/yyy/zzz', "csv", header = "true", inferSchema = "true", na.strings = "NA")

result1= result1[,-1]

MD2 = result1

registerTempTable(MD2, "md2")

temp1 <- sql("select SO_Order , count(distinct SKU) AS SKU_cnt from md2 group by SO_Order")

registerTempTable(temp1, "tmp1")

temp2 = sql("select * from tmp1 where SKU_cnt >1")
mydata = unique(MD2[,c(1,2)])
mydata1 <- collect(select(mydata, "SO_Order_x"))
mydata2 <- collect(select(mydata, "SKU"))
mymatrix <- cbind(mydata1, mydata2)

但是没有创建矩阵。你能告诉我吗?感谢您的快速帮助。提前谢谢。

感谢。

0 个答案:

没有答案