将测试数据填充到cassandra单元的最快方法是什么?

时间:2016-03-25 15:33:02

标签: unit-testing testing cassandra bulk-load bigdata

我正在使用cassandra单元在我的项目(Java)中进行测试,这很好,但问题是:加载测试数据需要相当长的时间(约25,000个普通插页需要100秒)。

我有一些想法,但对于cassandra单位似乎不可行:

  • 使用类似cqlsh命令的COPY FROM来复制来自csv
  • 的数据
  • 备份准备好的数据文件夹,并在初始化时将其提供给CU。

你有其他想法吗? 感谢。

1 个答案:

答案 0 :(得分:1)

一次加载大量数据的方法是使用unlogged batch mechanism

BEGIN UNLOGGED BATCH
INSERT INTO ...;
INSERT INTO ...;
INSERT INTO ...;
...
APPLY BATCH;

它可能不会很快,但出于测试目的,它不应该是一个问题,你应该避免一些直接的INSERT可能会产生的超时(因为你填满了日志文件,Cassandra停止接受数据一段时间后这一点。)