SparkR在列中读取为二进制而不是字符串

时间:2015-10-12 12:46:28

标签: sparkr

我在Impala / Hive中有一个表,其类型为字符串defve:

.active{
display:block;
}
#tab1,#tab2,#tab3{
display:none;
}

(例如)。

当我在Parquet文件中读到这是基于:

name, type
tdate, string
area, int

它告诉我它有df<-parquetFile(sqlContext,'/path/to/main/folder') df 个字段?

binary

我该如何解决这个问题?

谢谢!

1 个答案:

答案 0 :(得分:0)

解决方案在这里:

我找到了问题的解决方案。

我们可以做到以下几点:

sql(sqlContext,'SET spark.sql.parquet.binaryAsString=true')

这可以解决所有问题。