如何写入具有最大大小的多个CSV文件

Question

所以现在我正在组合许多json文件，转换数据然后将其作为行写入CSV文件。问题是这些数据将呈指数级增长，并且我将来可能会遇到内存错误。

我如何写入CSV，但一旦文件大小超过1GB就开始写入新文件？

这是我写入一个文件的代码：

with open('foo.csv', 'w', encoding='utf-8', newline='') as f:
    for response_row in load_json():
        try:
            writer = csv.writer(f, delimiter="|")
            writer.writerow(row)

        except Exception as e:
            logging.critical(str(e))