我想用cython编译一个python函数,用于读取跳过一些记录的二进制文件(不读取整个文件然后切片,因为我的内存不足)。我可以想出这样的事情:
def FromFileSkip(fid, count=1, skip=0):
if skip>=0:
data = numpy.zeros(count)
k = 0
while k<count:
try:
data[k] = numpy.fromfile(fid, count=1, dtype=dtype)
fid.seek(skip, 1)
k +=1
except ValueError:
data = data[:k]
break
return data
然后我可以使用这样的函数:
f = open(filename)
data = FromFileSkip(f,...
但是,为了用cython编译函数“FromFileSkip”,我想定义函数中涉及的所有类型,所以“fid”也是文件处理程序。如何在cython中定义它的类型,因为它不是“标准”类型,例如整数。 感谢。
答案 0 :(得分:5)
定义fid
的类型无济于事,因为调用python函数仍然很昂贵。尝试用“-a”标志编译你的例子,看看我的意思。但是,您可以使用低级C函数进行文件处理,以避免循环中的python开销。为了举例,我假设数据从文件的开头开始,其类型为double
from libc.stdio cimport *
cdef extern from "stdio.h":
FILE *fdopen(int, const char *)
import numpy as np
cimport numpy as np
DTYPE = np.double # or whatever your type is
ctypedef np.double_t DTYPE_t # or whatever your type is
def FromFileSkip(fid, int count=1, int skip=0):
cdef int k
cdef FILE* cfile
cdef np.ndarray[DTYPE_t, ndim=1] data
cdef DTYPE_t* data_ptr
cfile = fdopen(fid.fileno(), 'rb') # attach the stream
data = np.zeros(count).astype(DTYPE)
data_ptr = <DTYPE_t*>data.data
# maybe skip some header bytes here
# ...
for k in range(count):
if fread(<void*>(data_ptr + k), sizeof(DTYPE_t), 1, cfile) < 0:
break
if fseek(cfile, skip, SEEK_CUR):
break
return data
请注意,cython -a example.pyx
的输出在循环内没有显示python开销。