Android MLKit-执行Firebase ML任务时发生内部错误

Question

嗨，我有一个自定义模型，我在android应用程序中使用了该模型，但是无论何时尝试运行它，都会抛出MLkitExceptions，该错误的日志输出如下：

Internal error has occurred when executing Firebase ML tasks

我的应用程序的Java代码如下：

FirebaseLocalModel localModel = new FirebaseLocalModel.Builder("local_places_recommend")
                .setAssetFilePath("recsys.tflite").build();

FirebaseModelManager.getInstance().registerLocalModel(localModel);



FirebaseModelOptions options = new FirebaseModelOptions.Builder()
                .setLocalModelName("local_places_recommend")
                .build();

FirebaseModelInterpreter firebaseInterpreter = FirebaseModelInterpreter.getInstance(options);

FirebaseModelInputOutputOptions inputOutputOptions =
       new FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 3})
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1, 34})
                .build();

float[][] input = new float[1][3];

input[0][0] = d1;
input[0][1] = d2;
input[0][2] = d3;


FirebaseModelInputs inputs = new FirebaseModelInputs.Builder()
                .add(input)
                .build();

每当我尝试运行FirebaseModelInterpreter时，都会收到该错误，而没有其他内容。

输入张量和输出张量的形状分别如下：

[1 3]
<class 'numpy.float32'>
[ 1  1 34]
<class 'numpy.int64'>

很高兴获得有关此问题的任何帮助或见识。

Answer 1

如果您正在使用相机x

您可能会收到此错误

请确保在执行mlkit操作后关闭图像代理和分析功能中的图像

这是一小段

    override fun analyze(imageProxy: ImageProxy) {

       val image:Image? = imageProxy.image

      image?.let {img->
               val iImage = InputImage
                 .fromMediaImage(img,imageProxy.imageInfo.rotationDegrees)
                textRecognizer.process(iImage)
                    .addOnSuccessListener { listener(it)}
                    .addOnFailureListener { Log.i(TAG,it.toString()) }
                    .addOnCompleteListener {
                        image.close()
                        imageProxy.close() }
            }

    }

Answer 2

如Firebase文档中所述： https://firebase.google.com/docs/reference/android/com/google/firebase/ml/custom/FirebaseModelDataType

没有类型INT64，请尝试编写INT32而不是FLOAT32。

FirebaseModelInputOutputOptions inputOutputOptions =
           new FirebaseModelInputOutputOptions.Builder()
                    .setInputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 3})
                    .setOutputFormat(0, FirebaseModelDataType.FLOAT32, new int[]{1, 1, 34})// try to change FLOAT32 to Int32
                    .build();

Answer 3

我遇到了同样的问题，因为我的版本控制更改了我的tflite模型，并且没有更新我的代码。我的模型输入形状错误。 我只是改变了：

val inputOutputOptions = FirebaseModelInputOutputOptions.Builder()
                .setInputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, **RightSize, RightSize**, 3))
                .setOutputFormat(0, FirebaseModelDataType.FLOAT32, intArrayOf(1, 4))
                .build()

来源：here