Python性能问题-多种方法从特定的Pickle文件读取相同的Pandas数据框

时间:2019-06-10 16:16:14

标签: python pandas pickle

我们有多种(4)方法从特定/相同的-Pickle文件中读取相同的Pandas数据帧,该文件存储在本地目录中。 创建唯一的泡菜文件的代码如下:-

df_for_bokeh = pd.read_sql(sql_command,engine)
df_for_bokeh.to_pickle("./df_holoviewPlots.pkl")

读取泡菜文件的方法的代码片段如下:-

df_for_bokeh = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh1 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh2 = pd.read_pickle("./df_holoviewPlots.pkl")
df_for_bokeh3 = pd.read_pickle("./df_holoviewPlots.pkl")

如上所示 我对性能的关注是-这样做会更好还是还是应该将DF酸洗成4个单独的酸菜皮来代替相同的Pickle文件。

我们无法获取pickle文件-取消选择只能提供1个DataFrame。我们将需要至少-从一个Pickle文件中读取4个不同的数据帧,而且几乎是同时读取。

1 个答案:

答案 0 :(得分:0)

有没有原因您不能执行以下操作:

  1. 设置加载锁定状态
  2. 一次加载日期
  3. 根据需要深度复制到尽可能多的对象 https://docs.python.org/3.7/library/copy.html
  4. 释放加载锁定状态

这将在4个不同的独立数据帧中为您提供相同的数据。