使用Android的NNAPI时，TF lite模型的性能较差

Question

我正在使用小米MI9上的TFLite模型基准工具1对各种tensorflow-lite模型进行基准测试。我注意到，当我在Android的神经网络API上启用推理时，许多模型的性能都会变差。

使用NNAPI导致模型性能下降的原因可能是什么？

我的猜测是，太大的模型无法在电话协处理器上正确执行，而必须将数据来回发送给CPU。

Answer 1

最可能的原因是亚历克斯（Alex）建议的线索，特别是如果您在经过良好测试的标准模型（例如Mobilenet）中观察到这一点时。