Question

我花了很多时间来运行示例项目https://github.com/tensorflow/examples/tree/master/lite/examples/speech_commands/ml，并最终在export direcory中使用convert_keras_lite.py生成了tflite模型https://imgur.com/bVpesdd。但是，我在此检查了Assets目录中的tflite模型android项目https://github.com/tensorflow/examples/tree/master/lite/examples/speech_commands/android。我发现tflite模型与第一个模型不同。 https://imgur.com/7Cn69qx。

我尝试将资产android目录中的tflite模型替换为第一个tflite模型，但是应用突然在Android Studio logcat中崩溃，并显示以下错误代码：

2019-12-22 16:45:22.262 795-795/org.tensorflow.lite.examples.speech E/AndroidRuntime: FATAL EXCEPTION: main
    Process: org.tensorflow.lite.examples.speech, PID: 795
    java.lang.RuntimeException: Unable to start activity ComponentInfo{org.tensorflow.lite.examples.speech/org.tensorflow.lite.examples.speech.SpeechActivity}: java.lang.IllegalArgumentException: Input error: Can not resize 1-th input for a model having 1 inputs.
        at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3139)
        at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:3282)
        at android.app.servertransaction.LaunchActivityItem.execute(LaunchActivityItem.java:78)
        at android.app.servertransaction.TransactionExecutor.executeCallbacks(TransactionExecutor.java:108)
        at android.app.servertransaction.TransactionExecutor.execute(TransactionExecutor.java:68)
        at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1970)
        at android.os.Handler.dispatchMessage(Handler.java:106)
        at android.os.Looper.loop(Looper.java:214)
        at android.app.ActivityThread.main(ActivityThread.java:7156)
        at java.lang.reflect.Method.invoke(Native Method)
        at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:494)
        at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:975)
     Caused by: java.lang.IllegalArgumentException: Input error: Can not resize 1-th input for a model having 1 inputs.
        at org.tensorflow.lite.NativeInterpreterWrapper.resizeInput(Native Method)
        at org.tensorflow.lite.NativeInterpreterWrapper.resizeInput(NativeInterpreterWrapper.java:194)
        at org.tensorflow.lite.Interpreter.resizeInput(Interpreter.java:285)
        at org.tensorflow.lite.examples.speech.SpeechActivity.onCreate(SpeechActivity.java:190)
        at android.app.Activity.performCreate(Activity.java:7335)
        at android.app.Activity.performCreate(Activity.java:7326)
        at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1275)
        at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3119)**

感谢您的帮助。

Answer 1

好的，我还没有解决问题，但是我认为我发现了一些可能有用的东西：

首先，在TensorFlow存储库本身（不是专用的示例存储库）中还有语音命令示例的其他代码：https://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/speech_commands

它不像您使用的那样使用keras，并且没有有关tflite转换的信息，因此我想这个示例是在tflite出现之前创建的。在查看那里使用的architecture of the (conv) model之后，我发现它与android项目中预包装的tflite模型具有相同的架构，并且与您发布的第二个imgur链接匹配。

因此，看起来好像android项目中的tflite模型是旧示例中模型的转换。由于输入不同，因此https://github.com/tensorflow/examples/tree/master/lite/examples/speech_commands/ml产生的模型根本与android代码不兼容。

这并不奇怪，因为android代码几乎是old examples android code的复制粘贴，并做了一些tflite使用方面的调整。

因此，我认为最好的方法是处理旧的ml代码，并将生成的冻结的pb图转换为tflite。

更新

我做到了！！！运作方式如下：

从here下载冻结的图。
在python中运行以下命令

import tensorflow as tf

converter = tf.compat.v1.lite.TFLiteConverter.from_frozen_graph("./conv_actions_frozen.pb", input_arrays=['decoded_sample_data', 'decoded_sample_data:1'], output_arrays=['labels_softmax'])
converter.allow_custom_ops=True
tflite_model = converter.convert()
open("model.tflite", "wb").write(model)

如果您使用netron查看模型，则会发现它与android示例附带的模型相同。

语音识别的不同模型

1 个答案: