我在NiFi中有数据管道,该管道可以侦听系统日志并处理接收到的数据,并通过“ ExtractText”处理器提取属性,然后通过“ ReplaceText”将输入格式转换为输入,最后通过“ PutInflux”处理器将其插入influxdb。但是我在putInflux处理器之前排了长队,因为插入速度比生成的数据慢。请帮助我提高插入速度。 Data PipeLine
答案 0 :(得分:0)
您是一次将多行(即流文件中的多行)放入Influx中还是一次?如果是后者,请在PutInfluxDB之前尝试MergeContent或MergeRecord,以将多行内容放入一个文件中。这样,您就不必支付通过电线传输每条线的开销,您可以一次放置很多。
答案 1 :(得分:0)
感谢Mattyb, 我增加了PutInfluxDB处理器中的线程数,并解决了问题:)