ListFTP处理器中未维护数据来源

时间:2020-02-13 06:41:39

标签: apache-nifi

NiFi 1.5版。

我每天通过ListFTP和FetchFTP从FTP服务器同时获取50个文件。在这里,我在获取文件以及进一步使用其他处理器修改并存储在数据库中没有任何问题。

最后,我可以从同一个FTP服务器上删除原始文件,例如
-> FetchFTP -> UpdateAttribute(success/comm.failure/permission denied) -> logAttribute

它工作正常,突然我发现最终的FetchFTP处理器中有一些异常行为:

  1. 它不保持数据来源。几分钟后,流文件历史记录将被删除。
  2. FetchFTP引发错误“无法登录用户'xxx'”。
  3. 还注意到带有以下行的nifi日志:

    2020-02-12 23:31:56,007信息[来源维护线程2] oanpPersistentProvenanceRepository成功地执行了来源事件文件/ var / lib / nifi上的到期操作org.apache.nifi.provenance.lucene.UpdateMinimumEventId@33868e31 /provenance_repository/110062.prov.gz in 617957 nanos 2020-02-12 23:31:56,007信息[来源维护线程2] o.a.n.p.expiration.FileRemovalAction删除了已过期的来源事件文件/var/lib/nifi/provenance_repository/110062.prov.gz 2020-02-12 23:31:56,007信息[出处维护线程2] o.a.n.p.expiration.FileRemovalAction删除了已过期的出处目录文件/var/lib/nifi/provenance_repository/toc/110062.toc 2020-02-12 23:31:56,007信息[来源维护线程2] oanpPersistentProvenanceRepository成功执行了来源事件文件/ var / lib / nifi / provenance_repository /上的过期操作org.apache.nifi.provenance.expiration.FileRemovalAction@2f8589e0 157925纳米中的110062.prov.gz 2020-02-12 23:31:58,157错误[计时器驱动的进程线程5] oanifi.processors.standard.FetchFTP FetchFTP [id = 53ee29a5-4df2-3ed9-9b94-73b817e3384d]无法获取StandardFlowFileRecord [uuid]的内容= 534e6d79-9c8e-40d8-a957-0c09e73e4ded,claim = StandardContentClaim [resourceClaim = StandardResourceClaim [id = 1581517837618-1333,container = default,section = 309],offset = 0,length = 0],offset = 0,name = 07 java.io.IO上远程主机 FTPIPADDRESS :21上文件名/07-1P/MAP/20200211FL.pdf中的文件名/07-1P/MAP/20200211FL.pdf -1P_MAP_20200212_false_20200211_2020FL.pdf,size = 0],由于java.io.IOException:无法登录用户' > xxx ”;路由到comms.failure:java.io.IOException:无法登录用户' xxx ' java.io.IOException:无法登录用户' xxx '

除此FetchFTP处理器外,其他处理器都保持数据源。我怀疑FetchFTP处理器出了点问题。在过去的六个月中,它一直运行良好,突然之间,在NiFi及其配置没有其他更改的情况下,这种情况正在发生。

请帮助。谢谢。

0 个答案:

没有答案