Question

我正在使用Cython与外部C API接口，该API接受UCS2格式的unicode字符串（wchar数组）。（我理解UCS2相对于UTF-16的局限性，但它是第三方API。）

Cython版本：0.15.1
Python版本：2.6（缩小unicode版本）
操作系统：FreeBSD

Cython用户指南广泛涉及将unicode转换为字节字符串，但我无法弄清楚如何转换为16位数组。我意识到我首先需要编码为UTF-16（我现在假设不会出现超出BMP的代码点）。接下来我该怎么办？请帮忙。

提前致谢。

Answer 1

这在 Python 3 上很有可能，解决方案就是这样：

# cython: language_level=3

from libc.stddef cimport wchar_t

cdef extern from "Python.h":
    wchar_t* PyUnicode_AsWideCharString(object, Py_ssize_t *)

cdef extern from "wchar.h":
    int wprintf(const wchar_t *, ...)

my_string = u"Foobar\n"
cdef Py_ssize_t length
cdef wchar_t *my_wchars = PyUnicode_AsWideCharString(my_string, &length)

wprintf(my_wchars)
print("Length:", <long>length)
print("Null End:", my_wchars[7] == 0)

接下来是一个不太好的Python 2方法，但它可能处理未定义或损坏的行为，所以我不太容易相信它：

# cython: language_level=2

from cpython.ref cimport PyObject
from libc.stddef cimport wchar_t
from libc.stdio  cimport fflush, stdout
from libc.stdlib cimport malloc, free

cdef extern from "Python.h":
    ctypedef PyObject PyUnicodeObject
    Py_ssize_t PyUnicode_AsWideChar(PyUnicodeObject *o, wchar_t *w, Py_ssize_t size)

my_string = u"Foobar\n"
cdef Py_ssize_t length = len(my_string.encode("UTF-16")) // 2 # cheating
cdef wchar_t *my_wchars = <wchar_t *>malloc(length * sizeof(wchar_t))
cdef Py_ssize_t number_written = PyUnicode_AsWideChar(<PyUnicodeObject *>my_string, my_wchars, length)

# wprintf breaks things for some reason
print [my_wchars[i] for i in range(length)]
print "Length:", <long>length
print "Number Written:", <long>number_written
print "Null End:", my_wchars[7] == 0

free(my_wchars)

Cython：将unicode字符串转换为wchar数组

1 个答案: