我遇到的情况是我在查询数据库并返回可能的20k记录，其中每条记录的配置文件大小从10,000字节到1兆字节。所以数据量可能非常大。我不是要向用户显示这些信息，因此这不是一个问题。我基本上将此作为计划任务运行，以检查这些配置中的某些行。
然而，我遇到的问题是，当我的记录数量增加时，我可以遇到System.OutOfMemoryException。我有一个查询，一次找到我需要的所有行，显然这不是很好。我正在寻找有关如何有效地查询这些行而不会耗尽内存的建议。我已经考虑过获取我需要的所有行的列表然后循环结果并且一次只拉一行配置，但这看起来效率不高？
任何建议都将不胜感激。