我遇到了一些数据偏斜问题，我想看看Spark提示是否可以帮助我。但是，我不确定是否支持倾斜提示。这些站点：https://docs.databricks.com/spark/latest/spark-sql/skew-join.html#relation-columns-and-skew-values Spark Scala equivalent for SKEW join hints均暗示可以，它们均受支持。
但是，https://jaceklaskowski.gitbooks.io/mastering-spark-sql/spark-sql-hint-framework.html#spark-analyzer声称Spark SQL supports COALESCE and REPARTITION and BROADCAST hints. All remaining unresolved hints are silently removed from a query plan at analysis.，这意味着我的偏斜提示也将被忽略。
哪个是正确的？我正在运行Spark 2.2
答案 0 :(得分：3)
TL; DR 从Spark 2.4开始，Apache Spark不支持偏斜提示。
您混淆了两件事：
前者支持Apache Spark中不存在的一组功能，有时甚至在执行模型中有所不同。您不应该在Databricks文档中判断Apache Spark功能。倾斜联接是这些功能之一（在可变存储，索引和其他工具中）。
请注意，还有一些基于Spark的专有平台，它们可能会提供自己的扩展并修改Spark的行为，因此您不应使用其文档。