cassandra部分插入和批量插入大小限制

时间:2015-05-16 22:08:53

标签: cassandra save batch-processing

我需要解析发布到队列的制表符分隔文件,并且文件中的每个记录都需要保存到Cassandra中的5个不同的表中。我没有使用批量交易。

我有点担心可能会出现数据只插入3个表格而不是所有5个表格的情况。

如果我使用批量插入,那么我可以放置的数据有限制。您认为在我的情况下哪种方法是理想的?请建议。

2 个答案:

答案 0 :(得分:1)

你需要批处理语句,以便你可以威胁5个表作为原子操作插入,已记录的批处理将准确地给你,它是全部或全部,所以你将确保所有5个表在成功后有来自每个记录的数据插入

我会使用一个批处理,一个插入有5个语句,cassandra驱动程序将循环选择每个批处理插入的协调器,以便将负载均匀地分配到集群中的多个节点。

答案 1 :(得分:0)

请注意"批次"在cassandra中可能会误导,因为它将批处理视为原子操作=>该批次的协调节点将有很多工作要做。

此处有更多详情:

https://medium.com/@foundev/cassandra-batch-loading-without-the-batch-keyword-40f00e35e23e

https://ahappyknockoutmouse.wordpress.com/2014/11/12/246/

提示:
使用准备好的陈述