从Spark sql优化计划生成语义哈希码

时间:2018-07-31 17:38:56

标签: apache-spark apache-spark-sql apache-spark-1.6 apache-spark-2.1.1

在我的用例中,我正在使用Spark SQL支持实现缓存。我需要针对优化查询计划缓存SQL结果。现在的问题是,每当我使用spark解析器解析SQL时,生成的计划都会给出不同的哈希码。因此,我不能将计划用作缓存键。

有什么方法可以从逻辑计划中创建语义哈希码,而不依赖于表达式ID和计划中的其他修饰内容。哈希码不需要非常复杂,但至少可以帮助我将计划用作缓存键。

我正在使用spark 1.6和spark 2.1版本。

0 个答案:

没有答案