如何使用Azure自定义视觉服务响应boundingBox来绘制形状

时间:2018-06-11 09:42:22

标签: computer-vision microsoft-cognitive azure-cognitive-services

我正在使用Azure认知服务custom vision service来检测捕获图像中的形状。根据他们的文档,我按照他们的格式得到了回复。

但是我在绘制图像上方的形状时遇到了问题。

{
    "id": "0fbda4ee-8956-4979-bf57-a252441af98d",
    "project": "9ca4032b-beeb-40ad-9396-1c3fcfd9ba89",
    "iteration": "27c85265-a158-4fc4-b22a-d535dd758d80",
    "created": "2018-06-11T09:34:29.9496528Z",
    "predictions": [
        {
            "probability": 0.0102891214,
            "tagId": "677afcf8-bc4a-493f-b588-707663286125",
            "tagName": "ball",
            "boundingBox": {
                "left": 0.2889924,
                "top": 0.0169312358,
                "width": 0.7007024,
                "height": 0.8284572
            }
        },
        {
            "probability": 0.012788726,
            "tagId": "ca844f08-b6c0-4d9a-9010-73945d442708",
            "tagName": "cricket ball",
            "boundingBox": {
                "left": 0.304018974,
                "top": 0.413163722,
                "width": 0.299461246,
                "height": 0.436399817
            }
        },
        {
            "probability": 0.0229086485,
            "tagId": "ca844f08-b6c0-4d9a-9010-73945d442708",
            "tagName": "cricket ball",
            "boundingBox": {
                "left": 0.2889924,
                "top": 0.0169312358,
                "width": 0.7007024,
                "height": 0.8284572
            }
        },
        {
            "probability": 0.0100123268,
            "tagId": "4672144d-5593-446f-be63-5144a35d0e6e",
            "tagName": "pipe",
            "boundingBox": {
                "left": 0.711509764,
                "top": 0.377838552,
                "width": 0.07217276,
                "height": 0.113578767
            }
        },
        {
            "probability": 0.0167990718,
            "tagId": "4672144d-5593-446f-be63-5144a35d0e6e",
            "tagName": "pipe",
            "boundingBox": {
                "left": 0.9821227,
                "top": 0.9500536,
                "width": 0.0115685463,
                "height": 0.033854425
            }
        },
        {
            "probability": 0.923659563,
            "tagId": "4672144d-5593-446f-be63-5144a35d0e6e",
            "tagName": "pipe",
            "boundingBox": {
                "left": 0.288039029,
                "top": 0.411838,
                "width": 0.291451037,
                "height": 0.4237842
            }
        }
    ]
}

以上是我在Custom vision API调用中获得的响应。但问题在于boundingBox。从0开始,它的值总是在一个分数中。现在,如果我想使用它并想绘制​​一个正方形,那么这是不可能的,因为我不知道绘制正方形/矩形背后的确切逻辑值。

如何使用这些值并使用它绘制矩形/正方形?

1 个答案:

答案 0 :(得分:7)

回复/ TL; DR

这些boundingBox值是图像原始大小的百分比,因此您可以通过将值乘以图像宽度(左侧和宽度值)或图像高度(顶部和高度值)来绘制矩形。 / p>

请记住,位置是从左上角表示的,因此位置0,0就是这个角落。

带样本的详细信息

我有一个小型定制视觉检测可乐瓶。

原始图片如下: original image

我使用自定义视觉门户进行预测并得到以下结果 - 让我们专注于这个突出显示的结果,得分为87.5%:

portal result

使用API​​(可用here),我也进行了预测操作并得到了(以及其他细节)这个预测:

{
    "probability": 0.875464261,
    "tagId": "1932c95f-ed4a-4675-bde4-c2457e1389e6",
    "tagName": "CocaLight",
    "boundingBox": {
      "left": 0.453497916,
      "top": 0.0,
      "width": 0.2523211,
      "height": 0.8738168
    }
}

考虑到我的图片尺寸为 800 x 652 (因此ImageWidth 800,ImageHeight 652):

矩形绘制

左上角位置?

  • x(距离左边框的垂直距离)= 来自API x ImageWidth的左值 => 0.453497916 x 800 = 362
  • y(距离顶部边框的水平距离)= 来自API的最高值x ImageHeight => 0.0 x 652 = 0

所以我的矩形起始位置是(362,0)。

大小?

  • 矩形宽度= API的宽度x ImageWidth => 201
  • 矩形高度= 来自API的高度x ImageHeight => 569

让我们画画吧!

Draw API Result

看起来不错!