从Cassandra表中卸载海量数据

时间:2018-10-11 06:05:09

标签: spring-batch spring-data-cassandra

我们有一个包含1500万条记录的表,其中一列存储着巨大的XML。要求使用表中的所有数据(15+百万)生成30个具有XML不同字段的不同文本文件。 并且所有这30个作业将同时运行。 通常我们会进入ReadTimeoutException。由于时间限制,我们无法考虑缓存解决方案。 我们如何减轻这些读取超时异常?任何帮助将是巨大的。 以下是春季批处理和使用的Cassandra版本 Cassandra – 3.11,使用Spring Batch – 3.x作为卸载框架。

0 个答案:

没有答案