从远程服务器读取/写入百万行的最有效方法是什么？

Question

有人能指出我使用SQLAlchemy和Python从远程服务器读取/写入数百万行的有效方法（以避免OUT OF MEMORY错误）吗？

谢谢，

Answer 1

在读取数据时迭代结果集，因此您只需要一次处理一行，而不是在实际处理之前将整个数据集拉入内存。

为了写作，也要这样做。为了提高效率，一次只能处理一条记录。