我正在使用python进行机器学习项目，很多次我发现自己每次都重新运行某些算法，并进行了不同的调整（更改几个参数，不同的规范化，一些额外的功能工程等）。每次除少数步骤外，大多数计算都是相似的。当然，我可以将一些即时状态保存在磁盘上并在下次加载，而不必一遍又一遍地计算同一件事。
问题在于，如此之快的结果如此之多，以至于手动保存并记录下来会很痛苦。我看过一些Python装饰器here，它可以使事情变得容易一些。但是，此实现的问题在于，即使您的函数具有自变量，它也始终会在您首次调用该函数时返回相同的结果，因此对于不同的自变量应产生不同的结果。我真的需要记住带有不同参数的函数的输出。
我在google上广泛搜索了这个话题，而我发现的最接近的东西是Philip Guo的IncPy。 IncPy（增量Python）是增强的Python解释器，它可以通过自动记住（缓存）长时间运行的函数调用的结果，然后在安全的情况下重新使用这些结果而不是重新计算来加快脚本执行时间。 / p>
我真的很喜欢这个想法，并认为它将对数据科学和机器学习非常有用，但是该代码是9年前为python 2.6编写的，不再被维护。
所以我的问题是python中是否还有其他替代的自动缓存/存储技术可以处理相对较大的数据集？