Spark发布2.1.0(2016年12月28日)无法推断csv文件的数据

时间:2017-01-14 11:21:30

标签: apache-spark apache-spark-sql

我正在尝试使用最新构建的spark(2.1.0(2016年12月28日))在Scala中读取一个csv文件。 我注意到在读取csv文件并推断模式时,文件的解析将失败。 inferchema选项将失败,并且应该为double的一些字段将列为字符串。我可以强制列成为特定类型的数据,但仍然解析行将保留空值。我相信这是因为字符串列中有逗号。

1 个答案:

答案 0 :(得分:0)

我将内置的火花改为2.0.1(2016年10月3日)推断架构工作正常。因此,可能在Windows的新火花版本中存在错误(2。1。0(2016年12月28日)。