在Spark中,将过滤器添加到自定义优化规则的正确方法是什么?

时间:2018-06-11 23:53:33

标签: apache-spark optimization customization

我想创建一个基本上将a = 3翻译为a = 3 and b = 4的规则?

  1. 是否可以在自定义优化规则中创建新的过滤条件?
  2. 如何在AttributeReference列中获得真实的b?我尝试了类似.inputSet.filter(_.name.toLowerCase == "b").head的东西,但这似乎很脆弱 - 好像我已经决定不在镶木地板文件(元数据)中包含这一列后注入引用
  3. 这应该在另一个自定义点完成吗?

0 个答案:

没有答案