matplotlib选择图像区域然后放大

Question

使用opencv从网络摄像头获取帧，然后绘制它。 我在绘图的中心绘制一个矩形，然后获取所选区域并在另一个绘图中显示（通过插值放大）

import matplotlib.pyplot as plt
import matplotlib.animation as animation

import cv2

boxSize = 150
enlargeBy = 3

def getBoxCoordinates(cap, size):
    width = cap.get(3)
    height = cap.get(4)
    x1 = int(width / 2) - int(size / 2)
    y1 = int(height / 2) - int(size / 2)
    x2 = int(width / 2) + int(size / 2)
    y2 = int(height / 2) + int(size / 2)

    return [(x1, y1), (x2, y2)]

def getBox(cap, boxSize, frame, enlargeBy):
    [(x1, y1), (x2, y2)] = getBoxCoordinates(cap, boxSize);

    # Get pixels in box
    box_img = frame[y1 + 1:y2, x1 + 1:x2]  # +1 cuz it excludes initial pixel interval
    return cv2.resize(box_img, None, fx=enlargeBy, fy=enlargeBy,
                      interpolation=cv2.INTER_LINEAR)  # different interpolation methods

cap = cv2.VideoCapture(0);
ret, frame = cap.read()

figWidth = 20
figHeight = 8
fig = plt.figure(figsize=(figWidth, figHeight))


enlarged = getBox(cap, boxSize, frame, enlargeBy)
[(x1, y1), (x2, y2)] = getBoxCoordinates(cap, boxSize);
cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), lineType=1)


video_plot = plt.subplot2grid((figHeight, figWidth), (0, 0), colspan=4, rowspan=4)
video_plot.axis('off')
video_plot.set_title("Camera feed")
video = video_plot.imshow(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))


box_plot = plt.subplot2grid((figHeight, figWidth), (0, 4), colspan=4, rowspan=4)
box_plot.axis('off')
box_plot.set_title("Box")
box = box_plot.imshow(cv2.cvtColor(enlarged, cv2.COLOR_BGR2RGB)) #frame just to start


def updatefig(i):
    ret, frame = cap.read()
    cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), lineType=1)

    enlarged = getBox(cap, boxSize, frame, enlargeBy)

    video.set_data(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    box.set_data(cv2.cvtColor(enlarged, cv2.COLOR_BGR2RGB))

    return [video, box]

ani = animation.FuncAnimation(fig, updatefig, interval=20, frames=200, blit=True)

plt.tight_layout()
plt.show()


cv2.destroyAllWindows()


plt.show()

我遇到的奇怪问题是我在框架上绘制的矩形显示不正确：它只显示一个或几个边。 我注意到，当图形尺寸发生变化时，这会发生变化。上面的代码只显示了我的左下角，如果我改变了：

figWidth = 10

然后我看到了底部，右侧和顶部，但不是左侧。

不知道究竟是什么造成了这种情况以及如何解决。

Answer 1

cv2.rectangle被绘制为图像中的像素。现在的问题是，您可能在图像中有更多像素，您可以使用imshow图在屏幕上显示这些像素。例如。在cv图像中有1200像素，并且在屏幕上的300像素上显示该图像需要matplotlib将4个真实像素插入到1个屏幕像素中，使得有75％的机会丢失您想要显示的一个像素。

显而易见的解决方案是使矩形线更粗。

cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 0, 255), thickness=3)

然而，这也会产生副作用，即在放大图片中也有矩形线：

因此，另一个选项可能是在imshow图的顶部用matplotlib绘制矩形。此矩形只需绘制一次，但需要成为updatefig返回列表的一部分。

...
video = video_plot.imshow(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
rectangle = plt.Rectangle((x1,y1), x2-x1, y2-y1, edgecolor="gold", fill=False)
video_plot.add_patch(rectangle)
...

def updatefig(i):
    ret, frame = cap.read()
    enlarged = getBox(cap, boxSize, frame, enlargeBy)
    video.set_data(cv2.cvtColor(frame, cv2.COLOR_BGR2RGB))
    box.set_data(cv2.cvtColor(enlarged, cv2.COLOR_BGR2RGB))
    return [video, box, rectangle]