Mathematica中的动态编程：如何自动定位和/或清除memoized函数的定义

Question

在Mathematica 8.0中，假设我有一些常量：

a:=7
b:=9
c:=13
d:=.002
e:=2
f:=1

我希望用它们来评估一些相互关联的功能

g[0,k_]:=0
g[t_,0]:=e
g[t_,k_]:=g[t-1,k]*a+h[t-1,k-1]*b

h[0,k_]:=0
h[t_,0]:=f
h[t_,k_]:=h[t-1,k]*c+g[t-1,k-1]*d

但这真的很慢，需要动态编程，否则你会出现指数减速：

g[0, k_] := 0
g[t_, 0] := e
g[t_, k_] := g[t, k] = g[t - 1, k]*a + h[t - 1, k - 1]*b

h[0, k_] := 0
h[t_, 0] := f
h[t_, k_] := h[t, k] = h[t - 1, k]*c + g[t - 1, k - 1]*d

现在它真的很快，但如果我们想要更改常量（比如，在Manipulate函数中使用它），我们每次都必须Clear g和h。如果我们有复杂的相互依赖关系，那么每次我们想要g和h的值时，清除它们可能会非常烦人。

是否有一种简单的方法可以在g或h或类似内容中运行Module和Block，以便每次评估时都可以获得新的结果没有指数减速？或者甚至是以一种很好的方式为g和h构建结果表的快速方法？如上所述，我希望能够在g函数中计算h和Manipulate。

Answer 1

以下是一种方法，根据您的要求使用Block：

ClearAll[defWrap];
SetAttributes[defWrap, HoldFirst];
defWrap[fcall_] :=
  Block[{g, h},
     (* Same defintions with memoization as you had, but within Block*)

     g[0, k_] := 0;
     g[t_, 0] := e;
     g[t_, k_] := g[t, k] = g[t - 1, k]*a + h[t - 1, k - 1]*b;   
     h[0, k_] := 0;
     h[t_, 0] := f;
     h[t_, k_] := h[t, k] = h[t - 1, k]*c + g[t - 1, k - 1]*d;

     (* Our function call, but within a dynamic scope of Block *)
     fcall];

我们将使用它来为f和h定义为

ClearAll[g, h];
g[tt_, kk_] := defWrap[g[tt, kk]];
h[tt_, kk_] := defWrap[h[tt, kk]];

我们现在打电话：

In[1246]:= g[20,10]//Timing
Out[1246]= {0.,253809.}

In[1247]:= h[20,10]//Timing
Out[1247]= {6.50868*10^-15,126904.}

每次调用后都没有留下全局记忆定义 - Block在执行退出Block之前注意销毁它们。特别是，在这里我将更改参数并再次调用它们：

In[1271]:= 
a:=1
b:=2
c:=3
d:=.01
e:=4
f:=5

In[1279]:= g[20,10]//Timing
Out[1279]= {0.015,0.808192}

In[1280]:= h[20,10]//Timing
Out[1280]= {0.,1.01024}

此方案的替代方法是将所有参数（如a,b,c,d,e,f）显式传递给函数，扩展其形式参数列表（签名），但这样做的缺点是旧的memoized定义对应于不同的过去参数值不会自动清除。这种方法的另一个问题是结果代码将更脆弱，参数数量的变化等等。

修改

但是，如果您想构建一个结果表，这可能会更快一些，因为您一劳永逸地执行此操作，在这种情况下，您执行希望保留所有已记忆的定义。所以，这是代码：

ClearAll[g, h];
g[0, k_, _] := 0;
g[t_, 0, {a_, b_, c_, d_, e_, f_}] := e;
g[t_, k_, {a_, b_, c_, d_, e_, f_}] := 
     g[t, k, {a, b, c, d, e, f}] = 
        g[t - 1, k, {a, b, c, d, e, f}]*a +  h[t - 1, k - 1, {a, b, c, d, e, f}]*b;

h[0, k_, _] := 0;
h[t_, 0, {a_, b_, c_, d_, e_, f_}] := f;
h[t_, k_, {a_, b_, c_, d_, e_, f_}] := 
     h[t, k, {a, b, c, d, e, f}] = 
        h[t - 1, k, {a, b, c, d, e, f}]*c +  g[t - 1, k - 1, {a, b, c, d, e, f}]*d;

你调用它，明确传递参数：

In[1317]:= g[20,10,{a,b,c,d,e,f}]//Timing
Out[1317]= {0.,253809.}

（我使用的是原始参数）。您可以在此方法中检查已记住的定义是否保留在全局规则库中。下次调用具有完全相同参数的函数时，它将获取memoized定义而不是重新计算。除了我上面概述的这种方法的问题，你还应该注意内存使用情况，因为没有任何东西被清除。

Answer 2

使用辅助符号进行记忆

可以修改问题中展示的memoization技术，以便无论何时需要清除缓存，都不需要重新建立g和h的定义。我们的想法是将备忘值存储在辅助符号上，而不是直接存储在g和h上：

g[0,k_] = 0;
g[t_,0] = e;
g[t_,k_] := memo[g, t, k] /. _memo :> (memo[g, t, k] = g[t-1,k]*a+h[t-1,k-1]*b)

h[0,k_] = 0;
h[t_,0] = f;
h[t_,k_] := memo[h, t, k] /. _memo :> (memo[h, t, k] = h[t-1,k]*c+g[t-1,k-1]*d)

除了引入了新符号g之外，这些定义与h和memo的原始备忘版本基本相同。有了这些定义，只需使用Clear@memo清除缓存即可 - 无需重新定义g和h。更好的是，可以通过将memo放在Block中来对缓存进行本地化，因此：

Block[{memo, a = 7, b = 9, c = 13, d = 0.002, e = 2, f = 1}
, Table[g[t, k], {t, 0, 100}, {k, 0, 100}]
]

退出块时将丢弃缓存。

使用建议

进行记忆

原始和修订的记忆技术需要在函数g和h内进行侵入式更改。有时，事后引入memoization很方便。一种方法是使用advising技术 - 一种函数式编程模拟，用于在OO编程中进行子类化。 StackOverflow页面中会定期出现particular implementation of function advice。然而，该技术也是侵入性的。让我们考虑另一种向g和h添加建议而不改变其全局定义的技术。

诀窍是暂时在g内重新定义h和Block。重新定义将首先检查缓存中的结果，如果失败，则从块外部调用原始定义。让我们回到g和h的原始定义，这些定义幸福地没有记忆：

g[0,k_]:=0
g[t_,0]:=e
g[t_,k_]:=g[t-1,k]*a+h[t-1,k-1]*b

h[0,k_]:=0
h[t_,0]:=f
h[t_,k_]:=h[t-1,k]*c+g[t-1,k-1]*d

此技术的基本架构如下所示：

Module[{gg, hh}
, copyDownValues[g, gg]
; copyDownValues[h, hh]
; Block[{g, h}
  , m:g[a___] := m = gg[a]
  ; m:h[a___] := m = hh[a]
  ; (* ... do something with g and h ... *)
  ]
]

引入临时符号gg和hh以保留g和h的原始定义。然后g和h在本地反弹到新的缓存定义，根据需要委托给原始定义。以下是copyDownValues：

的定义

ClearAll@copyDownValues
copyDownValues[from_Symbol, to_Symbol] :=
  DownValues[to] =
    Replace[
      DownValues[from]
    , (Verbatim[HoldPattern][from[a___]] :> d_) :> (HoldPattern[to[a]] :> d)
    , {1}
    ]

为了保持这篇文章的简短（呃），这个“复制”功能只关注下行值。一般建议工具还需要考虑上升值，子值，符号属性等。

如果单调乏味，这种一般模式很容易实现自动化。以下宏函数memoize执行此操作，几乎没有注释：

ClearAll@memoize
SetAttributes[memoize, HoldRest]
memoize[symbols:{_Symbol..}, body_] :=
  Module[{pairs, copy, define, cdv, sd, s, m, a}
  , pairs = Rule[#, Unique[#, Temporary]]& /@ symbols
  ; copy = pairs /. (f_ -> t_) :> cdv[f, t]
  ; define = pairs /. (f_ -> t_) :> (m: f[a___]) ~sd~ (m ~s~ t[a])
  ; With[{ temps = pairs[[All, 2]]
         , setup1 = Sequence @@ copy
         , setup2 = Sequence @@ define }
    , Hold[Module[temps, setup1; Block[symbols, setup2; body]]] /.
        { cdv -> copyDownValues, s -> Set, sd -> SetDelayed }
    ] // ReleaseHold
  ]

经过多次努力之后，我们现在可以在g和h的非缓存版本外部强制进行备忘录了：

memoize[{g, h}
, Block[{a = 7, b = 9, c = 13, d = .002, e = 2, f = 1}
  , Table[g[t, k], {t, 0, 100}, {k, 0, 100}]
  ]
]

总而言之，我们现在可以创建一个响应式Manipulate块：

Manipulate[
  memoize[{g, h}
  , Table[g[t, k], {t, 0, tMax}, {k, 0, kMax}] //
      ListPlot3D[#, InterpolationOrder -> 0, PlotRange -> All, Mesh -> None] &
  ]
, {{tMax, 10}, 5, 25}
, {{kMax, 10}, 5, 25}
, {{a, 7}, 0, 20}
, {{b, 9}, 0, 20}
, {{c, 13}, 0, 20}
, {{d, 0.002}, 0, 20}
, {{e, 2}, 0, 20}
, {{f, 1}, 0, 20}
, LocalizeVariables -> False
, TrackedSymbols -> All
]

LocalizeVariables和TrackedSymbols选项是g和h对全局符号a到f的依赖关系的工件。