如何在Apache Nifi中调整执行脚本处理器

时间:2019-11-28 06:23:58

标签: apache-nifi

我有一个需求,我需要使用Apache Nifi将数据从DB2加载到Cassandra。

我的DB2表大约有4万条记录。我在nifi流程中使用了以下处理器。

QueryDataBaseTableRecord->拆分行-> ExecuteScript-> PutCassandraQL

我已经使用ExecuteScript处理器使用python脚本引擎为Cassandra表转储准备插入语句。现在的障碍是ExecuteScript处理器每秒只能读取600条记录,最终需要很长时间才能完成数据转储。

尝试在所有处理器端配置负载平衡策略(Round robin),并将nifi节点增加到6,这并没有给我带来任何性能改进。

任何人都可以让我知道

1)如何调整执行脚本以每秒读取更多记录?

2)是否有可能通过批处理模式将数据转储到Cassandra?

0 个答案:

没有答案