范围问题用关联数组记忆bash函数

时间:2016-03-15 17:50:03

标签: bash scope associative-array memoization

我有一个bash脚本,它使用jq来查找依赖关系'一些JSON中的数据,并采用闭包(找到依赖关系的依赖关系等)。

这样可以正常工作,但可能会很慢,因为它可能反复查找相同的依赖项,所以我想记住它。

我尝试使用全局关联数组将参数与结果相关联,但数组似乎没有存储任何内容。

我已将相关代码提取到以下演示中:

#!/usr/bin/env bash

# Associative arrays must be declared; use 'g' for global
declare -Ag MYCACHE
function expensive {
    # Look up $1 in MYCACHE
    if [ "${MYCACHE[$1]+_}" ]
    then
        echo "Using cached version" >> /dev/stderr
        echo "${MYCACHE[$1]}"
        return
    fi

    # Not found, perform expensive calculation
    RESULT="foo"

    echo "Caching result" >> /dev/stderr
    MYCACHE["$1"]="$RESULT"

    # Check if the result was cached
    if [ "${MYCACHE[$1]+_}" ]
    then
        echo "Cached" >> /dev/stderr
    else
        abort "Didn't cache"
    fi

    # Done
    echo "$RESULT"
}

function abort {
    echo "$1" >> /dev/stderr
    exit 1
}

# Run once, make sure result is "foo"
[[ "x$(expensive "hello")" = "xfoo" ]] ||
    abort "Failed for hello"

# Run again, make sure "Using cached version" is in stderr
expensive "hello" 2>&1 > /dev/null | grep "Using cached version" ||
    abort "Didn't use cache"

以下是我的结果:

$ ./foo.sh 
Caching result
Cached
Didn't use cache

我们得到Cached这一事实似乎表明我正确地存储和查找了值,但是在expensive的调用之后它们没有被保留,因为我们点击{Didn't use cache 1}}分支。

这看起来像是一个范围问题,可能是由declare造成的。但是,declare -A似乎是使用关联数组的必要条件。

这是我的bash版本:

$ bash --version
GNU bash, version 4.3.42(1)-release (i686-pc-linux-gnu)
Copyright (C) 2013 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later <http://gnu.org/licenses/gpl.html>

This is free software; you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law.

除了弄清楚我所经历的行为之外,我还欣赏在bash中记忆功能的替代方法(最好不要触及文件系统,即使它是基于RAM的)

1 个答案:

答案 0 :(得分:1)

你有几个问题:

  1. declare -g仅在函数内有意义。在外面,变量已经是全局的。

  2. 全局变量仅对声明它的进程是全局变量。您不能在各个流程之间共享全局变量。

  3. 在命令替换中运行expensive在单独的进程中执行,因此它创建的缓存和填充将随着该进程消失。

  4. 运行expensive作为管道的第一个命令也会创建一个新进程;它使用的缓存只对该进程可见。

  5. 您可以通过确保expensive仅在当前shell中使用

    运行来解决此问题
    expensive "hello" > tmp.txt && read result < tmp.txt
    [[ $foo = foo ]] || abort ...
    expensive "hello" 2>&1 > /dev/null < <(grep "Using cached version") ||
    abort "Didn't use cache"
    
    但是,Shell脚本并不是为这种类型的数据处理而设计的。如果缓存很重要,请使用不同的语言,以更好地支持数据结构和内存中的数据处理。 Shell已针对启动新流程和管理输入/输出文件进行了优化。