Question

如何编写一个Cython函数，它将一个字节字符串对象（一个普通字符串，一个bytearray或另一个跟在buffer protocol之后的对象）作为typed memoryview？

根据Unicode and Passing Strings Cython教程页面，以下内容应该有效：

cpdef object printbuf(unsigned char[:] buf):
    chars = [chr(x) for x in buf]
    print repr(''.join(chars))

它适用于bytearrays和其他可写缓冲区：

$ python -c 'import test; test.printbuf(bytearray("test\0ing"))'
'test\x00ing'

但它对普通字符串和其他只读缓冲区对象不起作用：

$ python -c 'import test; test.printbuf("test\0ing")'
Traceback (most recent call last):
  File "<string>", line 1, in <module>
  File "test.pyx", line 1, in test.printbuf (test.c:1417)
  File "stringsource", line 614, in View.MemoryView.memoryview_cwrapper (test.c:6795)
  File "stringsource", line 321, in View.MemoryView.memoryview.__cinit__ (test.c:3341)
BufferError: Object is not writable.

查看生成的C代码，Cython始终将PyBUF_WRITABLE标志传递给PyObject_GetBuffer()，这解释了异常。

我可以自己手动查看缓冲区对象，但不方便：

from cpython.buffer cimport \
    PyBUF_SIMPLE, PyBUF_WRITABLE, \
    PyObject_CheckBuffer, PyObject_GetBuffer, PyBuffer_Release

cpdef object printbuf(object buf):
    if not PyObject_CheckBuffer(buf):
        raise TypeError("argument must follow the buffer protocol")
    cdef Py_buffer view
    PyObject_GetBuffer(buf, &view, PyBUF_SIMPLE)
    try:
        chars = [chr((<unsigned char *>view.buf)[i])
                 for i in range(view.len)]
        print repr(''.join(chars))
    finally:
        PyBuffer_Release(&view)

$ python -c 'import test; test.printbuf(bytearray("test\0ing"))'
'test\x00ing'
$ python -c 'import test; test.printbuf("test\0ing")'
'test\x00ing'

我做错了什么，或者Cython不支持将只读缓冲区对象（例如普通字符串）强制转换为类型化的memoryview对象？

Answer 1

尽管文档提示不然，但Cython（至少高达0.22版本）不支持将只读缓冲区对象强制转换为类型化的memoryview对象。 Cython总是将PyBUF_WRITABLE标志传递给 PyObject_GetBuffer()，即使它不需要写访问权限。这会导致只读缓冲区对象引发异常。

我raised this issue on the Cython developer mailing list，甚至还包括一个（非常粗糙的）补丁。我从来没有得到答复，所以我认为Cython开发人员对修复这个bug不感兴趣。

Answer 2

此问题已在2018年13月13日发布的Cython 0.28（PR #1869）中修复。 changelog说：

const修饰符可以应用于memoryview声明，以允许只读缓冲区作为输入。

还有一个新的section in the documentation。

如果您编写如下函数，那么您给出的示例将在Cython 0.28中工作：

cpdef object printbuf(const unsigned char[:] buf):
    chars = [chr(x) for x in buf]
    print repr(''.join(chars))

如何使用Cython类型的内存视图从Python接受字符串？

2 个答案: