Question

我目前正在将代码从旧的OpenCV示例传输到Python中的OpenCV3（使用PyObjC和Quartz模块）。 Objective-C代码采用UIImage并创建可供OpenCV使用的材料。我的python代码采用CGImage并做同样的事情。

这是Objective-C代码：

(cv::Mat)cvMatFromUIImage:(UIImage *)image {
  CGColorSpaceRef colorSpace = CGImageGetColorSpace(image.CGImage);
  CGFloat cols = image.size.width;
  CGFloat rows = image.size.height;

  cv::Mat cvMat(rows, cols, CV_8UC4); // 8 bits per component, 4 channels (color channels + alpha)

  CGContextRef contextRef = CGBitmapContextCreate(cvMat.data,                 // Pointer to  data
                                                 cols,                       // Width of bitmap
                                                 rows,                       // Height of bitmap
                                                 8,                          // Bits per component
                                                 cvMat.step[0],              // Bytes per row
                                                 colorSpace,                 // Colorspace
                                                 kCGImageAlphaNoneSkipLast |
                                                 kCGBitmapByteOrderDefault); // Bitmap info flags

  CGContextDrawImage(contextRef, CGRectMake(0, 0, cols, rows), image.CGImage);
  CGContextRelease(contextRef);

  return cvMat;
}

这是我的Python等价物：

def macToOpenCV(image):
    color_space = CGImageGetColorSpace(image)
    column = CGImageGetHeight(image)
    row = CGImageGetWidth(image)
    mat = np.ndarray(shape=(row, column, 4), dtype=np.uint8)
    c_ref = CGBitmapContextCreate(mat,
                                  row,
                                  column,
                                  8,
                                  ,  # mat.step[0],
                                  color_space,
                                  kCGImageAlphaNoneSkipLast |
                                  kCGBitmapByteOrderDefault)

    CGContextDrawImage(c_ref, CGRectMake(0, 0, column, row), image)
    return mat

我相当有信心，我现在拥有大部分权利，但我失去了我应该要求的等同于Numpy中的cvMat.step [0]。我也欢迎对代码段进行一些通用代码审查，因为当我使用cv2.imshow（）时，我得不到我期望的图像:)。

谢谢！

Answer 1

我最终放弃了上述方法，并在经过一些编辑后找到了有关此堆栈溢出问题的答案：Converting CGImage to python image (pil/opencv)

image_ref = CGWindowListCreateImage(CGRectNull,
                                        kCGWindowListOptionIncludingWindow,
                                        wid,
                                        kCGWindowImageBoundsIgnoreFraming)

pixeldata = CGDataProviderCopyData(CGImageGetDataProvider(image_ref))

height = CGImageGetHeight(image_ref)
width = CGImageGetWidth(image_ref)

image = Image.frombuffer("RGBA", (width, height),
                         pixeldata, "raw", "RGBA", 0, 1)

# Color correction from BGRA to RGBA
b, g, r, a = image.split()
image = Image.merge("RGBA", (r, g, b, a))
np.array(image)
return np.array(image)

这种情况下的图像是PIL.Image。您还可以看到我选择了自动步幅计算（frombuffer（）中的参数0），主要是因为我使用的答案函数无法工作。

Answer 2

从缓冲区很好，但是宽度不是64的倍数的图片将被弄乱。参见this one。我使用nps frombuffer和as_strides做出了一种有效的方法，该方法可以跳过无效像素：

cg_img = CG.CGWindowListCreateImage(
    CG.CGRectNull,
    CG.kCGWindowListOptionIncludingWindow,
    wnd_id,
    CG.kCGWindowImageBoundsIgnoreFraming | CG.kCGWindowImageNominalResolution
)

bpr = CG.CGImageGetBytesPerRow(cg_img)
width = CG.CGImageGetWidth(cg_img)
height = CG.CGImageGetHeight(cg_img)

cg_dataprovider = CG.CGImageGetDataProvider(cg_img)
cg_data = CG.CGDataProviderCopyData(cg_dataprovider)

np_raw_data = np.frombuffer(cg_data, dtype=np.uint8)

np_data = np.lib.stride_tricks.as_strided(np_raw_data,
                                          shape=(height, width, 3),
                                          strides=(bpr, 4, 1),
                                          writeable=False)

无法找出cv.mat.step [0]的Numpy等价物

2 个答案: