全局启用spark.sql的区分大小写

Question

选项spark.sql.caseSensitive控制列名等是否应区分大小写。它可以设置为例如由

spark_session.sql('set spark.sql.caseSensitive=true')

并且默认为false。

似乎无法在$SPARK_HOME/conf/spark-defaults.conf中使用

全局启用它

spark.sql.caseSensitive: True

虽然。 这是打算还是有其他文件来设置sql选项？

同样在source中，有人表示非常不鼓励这样做。这个建议背后的理由是什么？

Answer 1

事实证明设置

spark.sql.caseSensitive: True

$SPARK_HOME/conf/spark-defaults.conf中的

毕竟是在工作。它只需要在Spark驱动程序的配置中完成，而不是master或worker。显然我忘记了上次尝试的时候。

Answer 2

PySpark的另一种方式。使用名为SparkSession的{​​{1}}对象：

spark

Answer 3

尝试使用适用于我的Python代码中的sqlContext.sql（“ set spark.sql.caseSensitive = true”）。