流式传输大型csv文件的最快方法是什么？

Question

我已将内置的csv阅读器与Pandas的read_csv进行了比较。前者明显变慢。但是，由于内存限制，我需要传输csv文件。什么流媒体csv阅读器与熊猫一样快或几乎一样快？

Answer 1

在pandas.read_csv中你可以使用“chunksize”选项，如果你这样做，pandas返回的对象将是一个迭代器（类型为TextFileReader），迭代时将返回一个DataFrame读取数字_of_rows＆lt; = chunksize（I在我阅读源代码之前，我没有意识到这个选项存在......）。