我正在尝试使用最新构建的spark(2.1.0(2016年12月28日))在Scala中读取一个csv文件。 我注意到在读取csv文件并推断模式时,文件的解析将失败。 inferchema选项将失败,并且应该为double的一些字段将列为字符串。我可以强制列成为特定类型的数据,但仍然解析行将保留空值。我相信这是因为字符串列中有逗号。
答案 0 :(得分:0)
我将内置的火花改为2.0.1(2016年10月3日)推断架构工作正常。因此,可能在Windows的新火花版本中存在错误(2。1。0(2016年12月28日)。