Question

试图使用经过重新训练的MobileNet模型来预测狗的品种，但是当通过Firebase MLKit使用该模型时，它无法正确地预测狗的品种。桌面模型和tflite模型都能正确预测品种，但是使用同一图像of a pug，桌面模型和tflite模型（在桌面上）的可信度为87.8％。这是一个哈巴狗；而在MLKit上，置信度为1.47x10-2％。

我怀疑问题出在我对应用程序代码中的图像进行预处理时。 The docs显示如何在-1.0，1.0范围内缩放像素；根据keras图像预处理功能的代码，这是必需的。

这是我的infer(iStream)函数，我认为可能是错误所在。非常感谢您的帮助，这让我发疯。

private fun infer(iStream: InputStream?) {
    Log.d("ML_TAG", "infer")
    val bmp = Bitmap.createScaledBitmap(BitmapFactory.decodeStream(iStream), 224, 224, true)
    i.setImageBitmap(bmp)
    val bNum = 0
    val input = Array(1) { Array(224) { Array(224) { FloatArray(3) } } }
    for (x in 0..223) {
        for (y in 0..223) {
            val px = bmp.getPixel(x, y)
            input[bNum][x][y][0] = (Color.red(px) - 127) / 255.0f
            input[bNum][x][y][1] = (Color.green(px) - 127) / 255.0f
            input[bNum][x][y][2] = (Color.blue(px) - 127) / 255.0f
        }
    }

    val inputs = FirebaseModelInputs.Builder()
        .add(input)
        .build()

    interpreter.run(inputs, ioOpts).addOnSuccessListener { res ->
        val o = res.getOutput<kotlin.Array<FloatArray>>(0)
        val prob = o[0]

        val r = BufferedReader(InputStreamReader(assets.open("retrained_labels.txt")))
        val arrToSort = arrayListOf<Pair<String, Float>>()
        val rArr = r.readLines()
        for (i in prob.indices) {
            val p = Pair(rArr[i], prob[i])
            arrToSort.add(p)
        }
        val sortedList = arrToSort.sortedWith(compareByDescending {it.second})
        val topFive = sortedList.slice(0..4)
        arrToSort.forEach {
            if (it.first == "pug") {
                Log.i("ML_TAG", "Pug: ${it.second}")
            }
        }
        sortedList.forEach {
            if(it.first == "pug") {
                Log.i("ML_TAG", "Pug: ${it.second}")
            }
        }
        topFive.forEach {
            Log.i("ML_TAG", "${it.first}: ${it.second}")
        }
    }
        .addOnFailureListener { res ->
            Log.e("ML_TAG", res.message)
        }
}

Answer 1

我认为(Color.red(px) - 127) / 255.0f缩放到[-0.5，0.5]。 (Color.red(px) - 127) / 128.0f会产生更好的结果吗？

MLKit自定义模型中的预测不准确

1 个答案: