图像在放大/缩小时应适合画布边框

Question

我有一个有图像的画布。图像可调整大小并可以拖动。 当图像无法拖动到视口之外时，我正在尝试实现在移动图库应用（例如Google相册）中可以看到的逻辑。 我堆积在秤上：将图像放大然后缩小时，它不再适合边框。

现在我正在使用这种验证方式<，但并不是很成功：

if (backgoundImage.height > backgoundImage.width) {
        if (canvas.height * scaleValue * factor < canvas.clientHeight) {
            factor = canvas.clientHeight / (canvas.height * scaleValue)
        }
    } else {
        if (canvas.width * scaleValue * factor < canvas.clientWidth) {
            factor = canvas.clientWidth / (canvas.width * scaleValue)
        }
    }

我知道这是对正在发生的事情的完全解释，所以这是演示：

demo

有人可以提供建议，一旦我使用过缩放功能，如何一直使用边框？