我使用提供35 GB RAM的TPU。在尝试运行此代码片段之前，我有20 GB的可用RAM。但是由于ram低（我说需要超过35 GB），我无法运行该代码段，我使用了6 GB数据集。为什么这段代码占据了这么多位置？我使用了垃圾收集器，并删除了之前使用的数据框。我该怎么做才能使该代码正常工作？
Gen RAM Free：26.4 GB |进程大小：156.4 MB GPU RAM免费：16280MB |已用：0MB |利用率0％|总计16280MB
seed = 7
test_size = 0.4
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)
gc.collect()
model=KNeighborsClassifier(n_neighbors=6,algorithm='kd_tree',n_jobs=25)
model.fit(X_train, y_train)
答案 0 :(得分：1)
Python中的数据科学工作流往往占用大量内存。例如，如果您的输入数据X, Y消耗了6GB，则该行
X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size)
将另外消耗6 GB（每个创建的子集不是原始数组的视图，而是具有新内存占用的新数组对象）。
可以在数据KNeighborsClassifier中进行其他复制（例如，该算法中的代码要求输入数组为连续的C序float64数组，如果您的数据不符合该条件，则将复制一个副本）。制造）。
通常，对于基于numpy的数据科学工作流来说，一个很好的经验法则是，除非您非常谨慎，否则您将需要大约4-5倍于正在处理的原始数据大小的内存。防止数据复制。