如何获得Pandas块中的行数？

Question

我正在通过迭代块读取一个巨大的csv文件。如何获得当前处理的块的大小？特别是最后一个块的行数可能少于参数chunksize定义的行数。

reader = pd.read_table('myFile.csv', sep=';', chunksize=100)

Answer 1

您需要检查DataFrame的长度：

for x in reader:
    print (len(x.index))
    print (len(x))
    print (x.shape[0])