Question

这是我在python中的代码：

parser = argparse.ArgumentParser()
parser.add_argument('--use_model', type=str, help='model location', required=True)
parser.add_argument('--model_dim', type=int, help='model dimension of words', required=True)
args = parser.parse_args()
f = open(args.use_model, "rb")
f.seek(0)
trained_model = pkl.load(f)

我在最后一行收到_pickle.UnpicklingError: could not find MARK错误。在这个问题中：

_pickle.UnpicklingError: could not find MARK

它说f.seek（0）解决了问题，但在我看来，这没有解决。

Answer 1

看看下划线_pickle模块的源码（C写的），只有一个地方会出现这样的错误：

static Py_ssize_t
marker(UnpicklerObject *self)
{
    Py_ssize_t mark;

    if (self->num_marks < 1) {
        PickleState *st = _Pickle_GetGlobalState();
        PyErr_SetString(st->UnpicklingError, "could not find MARK");
        return -1;
    }
...
}

在底层，pickle 模块使用一个标记栈来解压容器对象，num_marks 表示其中有多少个对象。通过 Unpickler 函数的初始化，num_marks 被设置为 0，然后在有新标记压入标记堆栈时递增。

获得此错误的一种可能方法是更改 FRAME 操作码（指示帧开始的值）或 MARK 操作码。假设我们使用协议 4（从这个版本开始，pickle 具有二进制帧功能），您可以在 pep 3154 中阅读更多内容。这个想法简单明了——将所有内容分成块（帧）并标记每一帧的边界。让我们深入了解一下。

考虑这个例子：

import pickle
data = {"fruits": ["apple", "banana", "pineapple"] }

with open("data.pickle", 'wb') as f:
    # Pickle the 'data' dictionary using the highest protocol available.
    pickle.dump(data, f, pickle.HIGHEST_PROTOCOL)

让我们用 pickletools 来研究一下：

python -m pickletools data.pickle
    0: \x80 PROTO      5
    2: \x95 FRAME      46
   11: }    EMPTY_DICT
   12: \x94 MEMOIZE    (as 0)
   13: \x8c SHORT_BINUNICODE 'fruits'
   21: \x94 MEMOIZE    (as 1)
   22: ]    EMPTY_LIST
   23: \x94 MEMOIZE    (as 2)
   24: (    MARK
   25: \x8c     SHORT_BINUNICODE 'apple'
   32: \x94     MEMOIZE    (as 3)
   33: \x8c     SHORT_BINUNICODE 'banana'
   41: \x94     MEMOIZE    (as 4)
   42: \x8c     SHORT_BINUNICODE 'pineapple'
   53: \x94     MEMOIZE    (as 5)
   54: e        APPENDS    (MARK at 24)
   55: s    SETITEM
   56: .    STOP
highest protocol among opcodes = 4

这里 FRAME (0x95) 表示新帧的开始位置，MARK ('(') 表示容器对象的开始，这些值由协议指定（这是一个实现细节）。

我先看看pickle文件的内容，总结一下，问题原因可能是：

文件不知何故已损坏。
文件指针没有指向文件的开头，很可能可以通过f.seek(0)修复，参见_pickle.UnpicklingError: could not find MARK ...

找到另一个原因了吗？随意编辑答案。

找不到MARK

1 个答案: