我想计算R中Spark table
的相关矩阵,我尝试在R中使用cor()
,但它不起作用,这里是代码:
library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
flights_tbl <- copy_to(sc, nycflights13::flights, "flights")
data = flights_tbl
numeric_data = select_if(datos,function(col) is.numeric(col))
然后我尝试了cor(numeric_data)
,这就是我得到的:
>cor(numeric_data)
Error in cor(numeric_data) : supply both 'x' and 'y' or a matrix-like 'x'
我正在使用
Spark 2.0.2
dplyr 0.7.2
sparklyr 0.7.0-9000
然后我如何获得相关矩阵