我有一个需求,我需要使用Apache Nifi将数据从DB2加载到Cassandra。
我的DB2表大约有4万条记录。我在nifi流程中使用了以下处理器。
QueryDataBaseTableRecord->拆分行-> ExecuteScript-> PutCassandraQL
我已经使用ExecuteScript处理器使用python脚本引擎为Cassandra表转储准备插入语句。现在的障碍是ExecuteScript处理器每秒只能读取600条记录,最终需要很长时间才能完成数据转储。
尝试在所有处理器端配置负载平衡策略(Round robin),并将nifi节点增加到6,这并没有给我带来任何性能改进。
任何人都可以让我知道
1)如何调整执行脚本以每秒读取更多记录?
2)是否有可能通过批处理模式将数据转储到Cassandra?