如何在Python 2.7中读取大型单列CSV文件

时间:2019-01-17 18:22:44

标签: python python-2.7 csv large-files

我有一个很大的单列CSV文件,我需要读取每一行并将其转换为浮点数,然后找到每个数据块的最小值和最大值以及平均值。数据具有16位十进制精度。

我曾尝试将大熊猫作为大块进行处理,但对大熊猫而言却是无关紧要的,而且似乎不了解如何处理每个定义的大块(1000行×1列)。

如何将块中的每一行转换为浮点数[列表],以便可以找到最小值,最大值和均值?

    chunk_size = 1000 ** 1
    for chunk in pd.read_csv(filename, chunksize=chunk_size):
        mpg = []
        for row in chunk:
            mpg = [float(row[0]) for row in chunk]
            print mpg

        tmpMax = max(mpg)
        print tmpMax

0 个答案:

没有答案