Kylo的数据清理

时间:2018-04-05 17:04:00

标签: bigdata teradata kylo

我想知道在Kylo(https://kylo.io/)中是否有任何方法可以进行数据清理。我能够使用数据验证规则获取工具指出错误,但我很想知道它是否也可以执行其他功能。例子:

  • 删除数据之间的所有空记录
  • 检测并删除数据中的重复列

1 个答案:

答案 0 :(得分:0)

使用标准化器和验证器在Kylo中处理数据清理。但是,从Kylo 0.9.0开始,没有用于删除空行或重复列的内置函数。如果特定列为空并且删除重复的行,则当前函数仅限于删除行。

可以通过编写插件来添加此功能: http://kylo.readthedocs.io/en/latest/developer-guides/PluginApiIndex.html