在写入CSV文件之前，Scriptella是否将所有记录读入内存

Question

如果我们使用的是CSVD驱动程序，Scriptella（1.0版本）是否会在开始写入CSV文件之前将所有记录读入内存。如果我从数据库中读取了1000万条记录，那么在它开始写入文件或者是否以批处理模式读取之前，它会读取所有这1000万条记录？

提前致谢。

Answer 1

简短的回答是否定的。 Scriptella尽可能避免将数据保存在内存中。

在一个基本的非优化案例中，它逐个读取记录并将它们发送到另一个数据源。除此之外，根据驱动程序和/或其他设置，可以添加某些优化。可以启用Batching，以便提取和批量发送记录。根据数据库和可用内存批量可以是100到10000（或更多）记录。在这种情况下，只有一个批次保留在内存中。请注意，Scriptella 1.1中提供了批处理。