spark中的重复列读取json

Question

我在一个扁平结构的json文件上运行spark.read.json(json_file_path)。

我收到了错误消息：

Reference 'col' is ambiguous, could be: col#29582L, col#29632

这可能是由于另一个列名称不同的列：Col。如果我不能修改json数据，怎么解决？

Answer 1

参考R case of the problem并搜索配置。

我找到了

spark.conf.set("spark.sql.caseSensitive", "true")

来自https://databricks.com/blog/2016/08/15/how-to-use-sparksession-in-apache-spark-2-0.html