Spring Boot JPA从数据库中选择数百万条记录并处理数据

时间:2018-11-27 12:58:36

标签: spring spring-boot spring-data-jpa spring-batch

我正在开发一个Spring Boot应用程序,需要从db中获取400000行并将其作为列表传递。

我应该如何处理?

我正在考虑一种将记录分成1000组并继续传递的方法。

但是在那种情况下,我将如何在sql查询中指定偏移量,就像一旦我获取前1000条记录如何获取1001-2000条记录一样?

另一种方式是,如果我可以将记录作为流来获取,那么在这种情况下,我必须找到一种方法,只要有人调用我的api,我就可以通过我的应用程序通过REST GET api发送流。

基本上,我需要构建一个rest get api,我需要将该数据传递给使用我的api的人

1 个答案:

答案 0 :(得分:0)

您可以使用OFFSET和LIMIT, 例: 选择 * 来自t_users ORDER BY员工名称 偏移1000行,仅可观看下1000行;

现在,在您可以动态传递OFFSET值的情况下,它将每次获取100条记录。