我正在选择并切割大数据帧,我怀疑存在内存泄漏。
Pandas有没有类似numpy.ascontiguousarray的内容?
您可以推荐哪些策略来追踪这些内存泄漏?
示例:
def read_cached_data(file, column_list, row_slice)
global cache # large pd.DataFrame (over 20 GB)
if cache is None:
cache = pd.read_csv(file, usecols=None, ...)
result = cache[:, column_list]
result = result[row_slice, :]