我有一个很大的单列CSV文件,我需要读取每一行并将其转换为浮点数,然后找到每个数据块的最小值和最大值以及平均值。数据具有16位十进制精度。
我曾尝试将大熊猫作为大块进行处理,但对大熊猫而言却是无关紧要的,而且似乎不了解如何处理每个定义的大块(1000行×1列)。
如何将块中的每一行转换为浮点数[列表],以便可以找到最小值,最大值和均值?
chunk_size = 1000 ** 1
for chunk in pd.read_csv(filename, chunksize=chunk_size):
mpg = []
for row in chunk:
mpg = [float(row[0]) for row in chunk]
print mpg
tmpMax = max(mpg)
print tmpMax