我正在尝试使用NIFI来检测基于流文件的2个属性的重复项,这样每秒不应该有任何重复的行,其中2个特定的属性值是相同的。在DetectDuplicate
处理器中,以下是我的处理器的条目:
CacheEntryIdentifier
:${attribute1_name}::${attribute2_name}
Age of Duration
:1 sec
Distributed Chache Service
:DistributedMapCacheClientService
仍然,我得到重复的行,这两个属性的每秒值相同。 非常感谢帮助。感谢。
答案 0 :(得分:1)
1秒的“Age Off Duration”意味着CacheEntryIndentifier值与至少一秒前到达的值重复,将不会被视为重复。该属性用于让条目“过期”,一些用户将其设置为24小时,因此第二天,相同的值可以再次显示为“以前未见过”。如果您想始终保持“看到”的值,请将“Age Off Duration”留空。