用pandas数据帧耗尽RAM

Question

我的代码如下：

import pandas as pd
import os
import glob
import numpy as np

# Reading files and getting Dataframes

PathCurrentPeriod = '/home/sergio/Documents/Energyfiles'
allFiles = glob.glob(PathCurrentPeriod + "/*.csv")
frame = pd.DataFrame()

list_ = []

for file_ in allFiles:
    df = pd.read_csv(file_) 
    list_.append(df)

frame = pd.concat(list_, axis='rows')

但是，文件大约有300个。我想当我在VSCode上运行该文件时，会从终端收到“ killed”响应，因为尝试将这300个文件存储在“ frame”上可能会导致我运行的虚拟机将其移出RAM内存。

周围有工作吗？是否可以将硬盘驱动器用作处理内存或RAM？

问题不是每个.csv的大小本身，所以我可以按块读取它们……问题是我添加了太多。