Pandas .DAT文件导入错误，跳过行

Question

我试图将一个巨大的数据文件分成更小的部分。我使用以下脚本 -

ereg()

但我看到跳过行参数跳过大约200000行而不是100000行，任何人都可以告诉我为什么会发生这种情况

Answer 1

感谢@EdChum我能够使用chunksize解决问题，并使用以下代码： -

i = 0
tp = pd.read_csv(filename,header=None,encoding='latin1', sep='\t', iterator=True, chunksize=1000000)
for c in tp:
    ca = pd.DataFrame(c)
    ca.to_csv (file_destination +str(i)+'test.csv', index = False, header = False)
    i = i+1