我在Windows 7机器上使用SparkR。当我读取行数少于2000的CSV文件时,它可以工作,但当行数超过2000时,就会出错。
我使用以下代码
library(SparkR)
sc <- sparkR.init(master="local")
sqlContext <- sparkRSQL.init(sc)
localDF<-fread("train.csv",nrows=1e6)
localDF<-as.data.frame(localDF)
df <- createDataFrame(sqlContext, localDF)