如何保存大熊猫数据的存储空间？

Question

我创建了一个Python程序来分析加密货币。该程序每分钟从交易所获取烛台信息，并将其附加到变量名称为“ candlesticks”的pandas DataFrame对象。

但是，我注意到，如果长时间运行此程序，此“ candlesticks”变量将变得非常大。为了节省内存，我们决定将DataFrame的长度确定为50000，然后在超出范围时一一删除旧数据。

以下代码是简化的示例代码。 使用DataFrame方法drop（）删除最旧的数据，并使用append（）方法更新新的数据。

from random import random
import pandas as pd
import time

def get_current_candlestick():
    return pd.Series([int(random()*10)], index=["close"])

candlesticks = pd.DataFrame(dict(close=[3,2,3,4]))

while True:
    time.sleep(1) # 
    current_candlestick = get_current_candlestick()
    candlesticks = candlesticks.drop(0).reset_index(drop=True)
    candlesticks = candlesticks.append(current_candlestick, ignore_index=True)
    print(candlesticks)

DataFrame的drop（）和append（）方法是非破坏性的，这意味着它们被重新分配给烛台以保持原始数据不变。

在这里，出于某种原因，我担心它是否可以用作内存保护程序。

在candlesticks = candlesticks.drop(0).reset_index(drop=True)行中，创建了一个删除了旧数据的新DataFrame对象，并将其重新分配给了烛台。但是，我将重新分配并覆盖烛台，但我认为删除前的旧烛台将保留在内存中。

所以我运行以下代码，以查看在将drop（）应用于Candlesticks变量前后，内存ID是否已更改。

before_id = id(candlesticks)
candlesticks = candlesticks.drop(0).reset_index(drop=True)
after_id = id(candlesticks)
print("Before ID: ", before_id, "After ID: ", after_id)
print("Same ID...? :", before_id == after_id)

# ---output---
# Before ID:  4795901992 After ID:  4795766096
# Same ID...? : False

我用google翻译写的英文不好，所以我用图形说明了这个问题。

如果ID不同，覆盖前的数据是否保留在内存中？如果是这样，是否有办法引用ID并使用del函数将其删除，或者是节省内存的更好方法？

ーーーー添加ーーーー

在Sosel的建议下，我用以下代码解决了我的问题，我选择了最佳答案。

df = pd.DataFrame({"a":[1, 2, 3]})
print(id(df), "\n", df)
df.drop(0, inplace=True)
df.reset_index(drop=True, inplace=True)
print(id(df), "\n", df)
df.loc[len(df)] = {"a": 1}
print(id(df), "\n", df)
# 4704449088 
#     a
# 0  1
# 1  2
# 2  3
# 4704449088 
#     a
# 0  2
# 1  3
# 4704449088 
#     a
# 0  2
# 1  3
# 2  1

Answer 1

您的示例简而言之：

df = pd.DataFrame({"a":[1, 2, 3]})
print(id(df))
df = df.drop(0)
print(id(df))
# 2713481233416
# 2713618437192

在原位使用ID，在原位更改数据框，但是附加会创建新的ID：

df = pd.DataFrame({"a":[1, 2, 3, 4]})
print(id(df))
df.drop(0, inplace=True)
print(id(df))
df = df.append({"a":  5}, ignore_index=True)
print(id(df))
# 2713481233416
# 2713481233416
# 2713617869448

代替附加，也许可以通过“ loc”功能直接添加一行来帮助：

df = pd.DataFrame({"a":[1, 2, 3, 4, 5]})
print(id(df))
df.drop(0, inplace=True)
print(id(df))
df.loc[len(df)] = {"a": 1}
print(id(df))

# 2713634483336
# 2713634483336
# 2713634483336

此答案应使内存ID保持不变，但并未针对CPU时间进行优化...