使用Typesafe Slick检索大约10亿个结果

时间:2014-10-15 23:35:55

标签: postgresql scala slick-2.0

我正在从事一项需要每天查询Postgres的cron工作。该表是巨大的〜万亿条记录。平均而言,我希望每次执行可以检索大约10亿条记录。我找不到任何关于使用游标或分页Slick 2.1.0的文档。我能想到的一个简单方法是,先获取计数并使用drop and take循环。有没有更好更有效的方法来做到这一点?

1 个答案:

答案 0 :(得分:-1)

使用akka,postgresql-async映射reduce,首先计数然后使用offset + limit查询分配给actor然后在需要时映射数据然后将结果减少到elasticsearch或其他商店?