Question

我尝试用熊猫打开CSV文件，但是出现MemoryError错误。该文件约为300mb。当我使用较小的文件时，一切正常。

我正在使用具有64GB RAM的Windows 10。我已经尝试在Pycharm中更改自定义VM选项（“帮助” >>“编辑自定义VM选项”）并设置更高的内存数量，但仍然无法正常工作

import pandas as pd

df = pd.read_csv('report_OOP_Full.csv')

# I tried to add the following line but doesnt help
# df.info(memory_usage='deep')

MemoryError：无法分配344。MiB用于具有形状（14，3216774）和数据类型float64的数组

以退出代码1完成的过程

Answer 1

这可能不是最有效的方法，但是可以尝试一下。减少或增加块大小，具体取决于您的RAM可用性。

chunks = pd.read_csv('report_OOP_Full.csv', chunksize=10000)
i = 0
chunk_list = []
for chunk in chunks:
    i += 1
    chunk_list.append(chunk)
    df = pd.concat(chunk_list, sort = True)

如果这不起作用。试试这个：

chunks = pd.read_csv('report_OOP_Full.csv', chunksize=10000)
i = 0
chunk_list = []
for chunk in chunks:
    if i >= 10:
        break
    i += 1
    chunk_list.append(chunk)
    df1 = pd.concat(chunk_list, sort = True)


chunks = pd.read_csv('report_OOP_Full.csv', skiprows = 100000, chunksize=10000)
i = 0
chunk_list = []
for chunk in chunks:
    if i >= 10:
        break
    i += 1
    chunk_list.append(chunk)
    df2 = pd.concat(chunk_list, sort = True)


d3 = pd.concat([d1,d2], sort = True)

skiprows是根据前一个数据帧已读入多少行计算的。
这将在加载10个块后中断。将此存储为df1。并从第11块开始再次读取文件，然后再次追加。

我知道您正在处理一些大数据。我鼓励您看一下我发现的此功能。以下链接说明了其工作原理。此功能的功劳在这里： credit

def reduce_mem_usage(df):
    start_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage of dataframe is {:.2f} MB'.format(start_mem))

    for col in df.columns:
        col_type = df[col].dtype
    if col_type != object:
            c_min = df[col].min()
            c_max = df[col].max()
            if str(col_type)[:3] == 'int':
                if c_min > np.iinfo(np.int8).min and c_max < np.iinfo(np.int8).max:
                    df[col] = df[col].astype(np.int8)
                elif c_min > np.iinfo(np.uint8).min and c_max < np.iinfo(np.uint8).max:
                    df[col] = df[col].astype(np.uint8)
                elif c_min > np.iinfo(np.int16).min and c_max < np.iinfo(np.int16).max:
                    df[col] = df[col].astype(np.int16)
                elif c_min > np.iinfo(np.uint16).min and c_max < np.iinfo(np.uint16).max:
                    df[col] = df[col].astype(np.uint16)
                elif c_min > np.iinfo(np.int32).min and c_max < np.iinfo(np.int32).max:
                    df[col] = df[col].astype(np.int32)
                elif c_min > np.iinfo(np.uint32).min and c_max < np.iinfo(np.uint32).max:
                    df[col] = df[col].astype(np.uint32)                    
                elif c_min > np.iinfo(np.int64).min and c_max < np.iinfo(np.int64).max:
                    df[col] = df[col].astype(np.int64)
                elif c_min > np.iinfo(np.uint64).min and c_max < np.iinfo(np.uint64).max:
                    df[col] = df[col].astype(np.uint64)
            else:
                if c_min > np.finfo(np.float16).min and c_max < np.finfo(np.float16).max:
                    df[col] = df[col].astype(np.float16)
                elif c_min > np.finfo(np.float32).min and c_max < np.finfo(np.float32).max:
                    df[col] = df[col].astype(np.float32)
                else:
                    df[col] = df[col].astype(np.float64)

    end_mem = df.memory_usage().sum() / 1024**2
    print('Memory usage after optimization is: {:.2f} MB'.format(end_mem))
    print('Decreased by {:.1f}%'.format(100 * (start_mem - end_mem) / start_mem))
return df

这将确保您的数据帧在使用时尽可能少地使用内存。

Answer 2

我猜想另一种方法是只打开第一列中具有相同值的raws（在这种情况下为字符串，一个字母）。我不知道这是否可能。例如：

A 4 5 6 3

A 3 4 5 7

A 2 1 4 9

A 1 1 8 7

B 1 2 3 1

B 2 2 3 3

C 1 2 1 2

首先打开一个仅以“ A”开头的原始数据帧，然后对“ B”，“ C”等进行同样的操作。我不知道这是否可能，但可能会有所帮助。

使用熊猫打开CSV文件时出现MemoryError

2 个答案: