apache nifi中的场景可能

时间:2016-11-08 08:05:14

标签: hdfs hortonworks-data-platform apache-nifi

我正在尝试了解apache nifi进出hdfs中的文件,并有各种方案可以解决。请告诉我每个解释的可行性。我对每种情况都没有多少了解。

  1. 我们可以检查单个列中的null值吗?我检查了不同的处理器,发现notNull属性,但我认为这适用于文件名,而不是文件中的列。
  2. 我们可以使用nifi转换删除hdfs中存在的列吗?
  3. 我们可以更改列值,就像用其他文本替换一个文本一样吗?我已经检查了replaceText属性。
  4. 我们可以从文件系统中删除一行吗?
  5. 请提出可行性以及如何实现目标。

1 个答案:

答案 0 :(得分:0)

试试这个:

1.我们可以检查单列中存在的空值吗?我检查了不同的: 是使用替换文本处理器,如果要替换或使用“路由属性”,如果要基于空值条件进行路由,则可以检查和替换。

  1. 我们可以使用nifi转换删除hdfs中存在的列吗? 是的,使用相同的'ReplaceText'处理器,您可以将所需的字段与分隔符放在一起,因为我以前只有逗号分隔的数据中的当前日期字段和一些必填字段,因此我提供了替换值
  2. “$ { '用户ID'}”, “$ { 'APPID'}”, “$ {网站名称}”, “$ {现在():格式(” YYYY-MM-DD “)}”

    1. 要更改列值,请使用“ReplaceText”处理器。