在多层python超参数网格搜索中,如何避免冗余计算?

时间:2019-07-05 08:49:51

标签: python sql caching computation hyperparameters

我需要缓存结果以减少计算时间。

在我的代码中,我使用foo为不同的参数集y = foo(x)计算x。除了不同的参数x,我也经常修改foo

例如,我在Git分支foo中有一个branch-1版本,在Git分支foo中有另一个branch-2版本。

在一个工作日内,我将在这些分支之间来回跳转多次。我需要一个记忆库,如果使用不同的参数调用了branch-1branch-2的源代码在{{1}之间不同,则分别存储foofoo的结果}和branch-1

换句话说,我需要一个具有以下功能的库:

  1. 计算已保存到缓存中。
  2. 如果计算在缓存中,则不会重新计算。
  3. 如果计算不在缓存中或计算代码已更新,则会重新计算。
  4. 将缓存结果写入磁盘,以便它们在程序的不同运行之间得以生存。
  5. 如果我使用git还原了代码,则会保留过时代码的缓存结果。

0 个答案:

没有答案