在Windows中读取csv文件SparkR时出错

时间:2016-06-04 06:53:50

标签: r csv sparkr

我在Windows 7机器上使用SparkR。当我读取行数少于2000的CSV文件时,它可以工作,但当行数超过2000时,就会出错。

我使用以下代码

library(SparkR)   

sc <- sparkR.init(master="local")  

sqlContext <- sparkRSQL.init(sc)

localDF<-fread("train.csv",nrows=1e6)

localDF<-as.data.frame(localDF)

df <- createDataFrame(sqlContext, localDF)

0 个答案:

没有答案