sqlContext.sql和sqlContext.setConf之间的区别

Question

sqlContext.sql和sqlContext.setConf有什么区别，我更喜欢哪一个？

scala> sqlContext.sql("set spark.sql.shuffle.partitions=15")

scala> sqlContext.setConf("spark.sql.shuffle.partitions", "10")

Answer 1

sqlContext.setConf("spark.sql.shuffle.partitions", "10")会在生成whole application之前为logicalPlan设置属性参数。

sqlContext.sql("set spark.sql.shuffle.partitions=15")也会设置该属性，但仅适用于particular query，并且是在logicalPlan创建时生成的。

在它们之间进行选择取决于您的要求。