在mysql中同步数据时如何提高nifi性能

时间:2019-05-16 10:08:12

标签: apache-nifi

我使用NiFi(一个实例)CaptureMySQLChange(binlog) + EvaludateJsonPath + JoltTransformJSON + PutDatabaseRecord将数据从一个表同步到另一个表,两个表都在不同的数据库上,但在同一mysql实例上。我使用insert into table_a select * from table_b limit 5000;批量插入5000行,nifi大约需要7分钟才能同步所有5000行,nifi正常还是慢?如果速度慢,该如何提高性能?

jvm设置:

java.arg.2=-Xms4g java.arg.3=-Xmx8g

处理器设置: timer-driven scheduling, concurrent tasks=1(to re-execute sql in order), Run Schedule=0 sec, Penalty Duration=10 sec, Yield Duration=1 sec

队列设置: Back Pressure Object Threshold=100_000, Size Threshold=2g FirstInFirstOutPrioritizer

0 个答案:

没有答案