读取大型CSV文件

Question

我试图用Python读取大型csv文件;它有700个属性和101533行。我尝试使用git rm --cached path_to_file 命令读取文件但是它给了内存问题然后我尝试了这个解决方案

pandas.read_csv

但它不适用于大型数据集，但适用于小型数据集。如何在python中读取此文件？

Answer 1

您可以使用<div id="container"> <div id="image"> <img src="//lorempixel.com/300/500" alt="my-image"> </div> <div id="caption"> <p> Some info about this image. <br>Sometimes this could be two lines. <br>Maybe even three. <br> </p> </div> </div>模块加载csv文件并使用csv函数以获取列生成器，然后按itertools.izip()获取第一列。< / p>

请注意next()返回一个读取器对象，它是一个像对象一样的迭代器（一次性可迭代），这意味着它不会浪费你的内存并按需生成行。 ：

csv.reader()