如何将一片内存视图转换为C字符串(unsigned char *)?

时间:2018-01-07 10:07:43

标签: python cython memoryview

以下是我遇到此问题的代码:

cpdef object encode_file(object fin, str fout):
    if not PyObject_CheckBuffer(fin):
        raise TypeError("fin must follow the buffer protocol")


    cdef Py_buffer in_view
    cdef int ret_code = PyObject_GetBuffer(fin, &in_view, PyBUF_SIMPLE)
    if ret_code < 0:
        raise TypeError("Couldn't get buffer from fin")

    cdef bytes py_filename = fout.encode()
    cdef char* cy_filename = py_filename
    cdef bytes py_mode = "w".encode()
    cdef const char* mode = py_mode
    cdef FILE* fd = fopen(<const char*>py_filename, <const char*>mode)
    if <size_t>fd == 0:
        raise FileNotFoundError(fout)

    cdef unsigned char out_buff[256]
    cdef size_t written = 0
    cdef size_t total_written = 0
    cdef size_t used = 0
    cdef size_t total_used = 0
    cdef size_t pad_start = 80

    cdef unsigned char[:] char_view = fin
    cdef unsigned char* char_slice

    while total_used < <size_t>in_view.len:
        char_view = char_view[used:]
        # This is the place where I get the error
        char_slice = char_view.buf
        used = encode_buffer(
            char_slice,
            in_view.len - used,
            out_buff,
            256,
            pad_start,
            80,
            &written,
        )
        pad_start = 80 - used % 80
        total_written += written
        total_used += used
        if fwrite(out_buff, sizeof(char), used, fd) != used:
            fclose(fd)
            raise Exception(
                "Couldn't write to file: {}. Bytes written: {}".format(
                    fout, total_used,
                ),
            )

    fclose(fd)

    print "used: {}, written: {}".format(used, total_written)
    return total_written

对于一个简单的例子来说,这可能有点太多代码了,但如果你考虑一下,它真的不是那么多。循环之前的部分处理过滤掉各种边缘情况 - 它们对这个问题没有兴趣。唯一重要的部分是第一个参数必须实现缓冲协议,第二个参数是文件名。

因此,为了写入文件,我想获取一片内存视图,然后将其传递给期望指向unsigned char的C函数。对于我的生活,我无法想象如何使用Cython做到这一点......我尝试了上面代码的各种排列,但是,在大多数情况下我得到了

  

存储临时Python引用的不安全C派生

没有任何关于它试图产生什么的提示。

上面的代码中也有一些重复,因为我无法弄清楚如何使用in_view.buf[x]并让它具有我需要的类型。我把它留在这里只是为了表明我也试过了。

给出类似问题的答案不起作用,因为Cython内存视图有错误。我很欣赏不同的答案。

1 个答案:

答案 0 :(得分:0)

鉴于您似乎无法使用内存视图,因为数据是只读的,您可以使用Py_Buffer对象。数据在void*中存储为in_view.buf。使用const char*将其投放到<const char*>(in_view.buf)。您可以通过简单的指针算法获得n元素(即只需将n添加到该值)。

由于您使用了PyBuf_SIMPLE,因此您知道项目大小为1且数组是连续的,但在更复杂的情况下,您可能不得不担心这一点。