nifi将数据插入influxdb太慢

时间:2018-11-12 15:25:47

标签: apache-nifi influxdb

我在NiFi中有数据管道,该管道可以侦听系统日志并处理接收到的数据,并通过“ ExtractText”处理器提取属性,然后通过“ ReplaceText”将输入格式转换为输入,最后通过“ PutInflux”处理器将其插入influxdb。但是我在putInflux处理器之前排了长队,因为插入速度比生成的数据慢。请帮助我提高插入速度。 Data PipeLine

ReplaceText processor configuration : (view_stat -> measurement , Listing_id -> tag, event_id -> value , Timestamp -> time )

PutInflux processor configuration

2 个答案:

答案 0 :(得分:0)

您是一次将多行(即流文件中的多行)放入Influx中还是一次?如果是后者,请在PutInfluxDB之前尝试MergeContent或MergeRecord,以将多行内容放入一个文件中。这样,您就不必支付通过电线传输每条线的开销,您可以一次放置很多。

答案 1 :(得分:0)

感谢Mattyb, 我增加了PutInfluxDB处理器中的线程数,并解决了问题:)