python:磁盘缓存用于接收大量输入的函数

时间:2018-08-01 10:05:25

标签: python dataframe caching

我正在寻找功能结果的磁盘缓存。 (my)函数参数通常是数据帧(最多几个GB)。 我搜索了一些缓存模块(主要看了joblib),并了解到它们通常使用类似加密的机制来识别函数输入参数的唯一性。

一些(新手)问题:

[1]可能是这些机制将为大量输入带来大量开销(例如,花费几秒钟来验证1GB数据帧输入的唯一性)吗?

[2]这些机制有可能无法识别大型数据帧中的细微差异(例如,具有1K列和1M行的数据帧的单个值的变化)吗?

[3]是否有可能(并建议)为输入提供唯一的键(例如,从中加载数据帧的文件名,我确定是唯一的),以节省开销时间并避免这种可能性失败检查的唯一性?

[4]是否有对此类缓存有效的模块建议?

0 个答案:

没有答案