使用Java编程长时间运行的查询具有巨大的结果集

时间:2018-10-03 20:39:17

标签: java apache-kafka

我正在为我们的项目要求之一寻求技术解决方案,但无法在Google中找到正确的方法。

以下是要求。

1)我们运行了长时间的Oracle查询,该查询在营业时间运行约1.5个小时,并返回约1000万条记录。

2)我们必须使用Java编程将此结果集插入/转储到Sqlserver Db表中。

这是我对此要求的担心。 使用Sql Query检索所有记录时,它可能会给出(内存不足)错误。 可能导致网络超时等

计划与Spring批处理/ kafka流处理器等一起使用,不确定是否可以实现。 请提出java Best的方法/技术,以解决所有问题。预先感谢

0 个答案:

没有答案