在我的项目中,我使用Nifi从tomcat读取日志文件并在spark应用程序中处理这些数据,之后将这些过程数据插入到DB中。
但我的问题是,在app服务器级别,我在2个不同的框中有4个tomcat集群(4个不同的日志文件),并且我已经标出了哪个数据来自哪个集群处于火花级别。在我目前的设置中,我在Nifi中有2个tailFile处理器,指向单个输出,在每个框中但不能识别哪个数据来自哪个集群处于火花级别。
tailFile处理器中是否有任何选项可以在每条记录中添加一些后缀或前缀或文件名(或任何属性)?这样我就可以识别每个记录来自哪个群集并以这种方式持续存在于db中?
任何帮助都将受到高度赞赏....
提前致谢
答案 0 :(得分:1)
日志文件名存储在TailFile处理器
之后的tailfile.original.path
属性中
因此,在TailFile处理器放置另一个将为flowfile内容添加所需前缀的处理器之后。例如,您可以使用ReplaceText。