我有一个非常大的数据集，而且我无法读取整个数据集。所以，我想只读一部分要训练，但我不知道怎么做做到这一点。任何想法都将受到赞赏。
答案 0 :(得分：73)
如果您只想阅读前999,999（非标题）行：
read_csv(..., nrows=999999)
如果您只想阅读1,000,000 ... 1,999,999行
read_csv(..., skiprows=1000000, nrows=999999)
nrows ：int，default无要读取的文件行数。对...有用 阅读大文件*
skiprows ：类似列表或整数 要在文件开头跳过（0索引）或要跳过的行数（int）的行号
对于大文件，您可能还想使用chunksize：
chunksize ：int，默认无 返回TextFileReader对象以进行迭代