我尝试编写Rails操作来流式传输数据，其中生成的CSV / XML / JSON文件远大于Web服务器的内存限制。棘手的部分是数据集中的每个项目都由两个来源组成。一个是Postgres DB，我计划打开CURSOR（或者只使用id＆gt; Y LIMIT X）批量处理数据。后者是一个自定义数据存储，但基本上我还可以使用一个游标对象进行批处理。
我的问题是我不确定迭代第二个数据源的最佳方法是什么。我想我需要一个结构来打开光标，当我在每批中消耗数据时，我将加载下一批。
这个问题似乎已经解决了，所以我希望我能够使用已建立的模式。