我使用NiFi(一个实例)CaptureMySQLChange(binlog) + EvaludateJsonPath + JoltTransformJSON + PutDatabaseRecord
将数据从一个表同步到另一个表,两个表都在不同的数据库上,但在同一mysql实例上。我使用insert into table_a select * from table_b limit 5000;
批量插入5000行,nifi大约需要7分钟才能同步所有5000行,nifi正常还是慢?如果速度慢,该如何提高性能?
jvm设置:
java.arg.2=-Xms4g
java.arg.3=-Xmx8g
处理器设置:
timer-driven scheduling, concurrent tasks=1(to re-execute sql in order), Run Schedule=0 sec, Penalty Duration=10 sec, Yield Duration=1 sec
队列设置:
Back Pressure Object Threshold=100_000, Size Threshold=2g FirstInFirstOutPrioritizer