从pyspark RDD转换为DataFrame时出错:无法推断类型的模式' unicode'

时间:2017-02-09 10:31:49

标签: apache-spark pyspark rdd

我已使用sc.textFile

将CSV文件加载到RDD格式
gExp = sc.textFile("/mnt/%s/RNA-Seq/GSE10846_Gene_Expression_Data.csv" % MOUNT_NAME)

我想将其转换为Spark DataFrame

header = gExp.take(1) 
data = gExp.filter(lambda row : row != header).toDF(header)

在这里,我收到一个错误:

  

TypeError:无法推断类型的架构:

0 个答案:

没有答案