有关Spark和Hive SQL Optimizer的查询

Question

我对Spark催化剂SQL优化器感到困惑（如果有人也可以对Hive的查询优化器有所了解，那将会很有用）。以下是具有两个子查询q1和q2的查询。如果您仔细注意到谓词If Cells(x, 2).Value <> "" and Cells(x, 2).Font.Italic = true then 的值，则两个子查询中的所有其他内容都相同。我的问题是，如果Spark或Hive查询优化器能够识别这种冗余/相似性并优化查询，那么只进行一次洗牌。

is.true

由于