检测2个属性的重复项:nifi

时间:2017-12-11 00:43:05

标签: duplicates apache-nifi

我正在尝试使用NIFI来检测基于流文件的2个属性的重复项,这样每秒不应该有任何重复的行,其中2个特定的属性值是相同的。在DetectDuplicate处理器中,以下是我的处理器的条目:

CacheEntryIdentifier${attribute1_name}::${attribute2_name}

Age of Duration1 sec

Distributed Chache ServiceDistributedMapCacheClientService

仍然,我得到重复的行,这两个属性的每秒值相同。 非常感谢帮助。感谢。

1 个答案:

答案 0 :(得分:1)

1秒的“Age Off Duration”意味着CacheEntryIndentifier值与至少一秒前到达的值重复,将不会被视为重复。该属性用于让条目“过期”,一些用户将其设置为24小时,因此第二天,相同的值可以再次显示为“以前未见过”。如果您想始终保持“看到”的值,请将“Age Off Duration”留空。