将ML Kit与NNAPI一起使用

Question

我正在尝试在运行Android 9的Android设备上使用新的Google机器学习SDK ML Kit。 在官方网站上：

  通过

ML Kit，您可以轻松地将ML技术应用到您的应用中   Google的ML技术，例如Google Cloud Vision API，   TensorFlow Lite和Android神经​​网络API一起   单个SDK。无论您是否需要基于云的处理功能，   针对移动设备进行优化的设备模型的实时功能，或者   自定义TensorFlow Lite模型的灵活性，ML Kit使其成为可能   只需几行代码。

我认为这意味着在至少具有Android 8.1（根据nnapi的文档）的设备上，SDK可以使用NNAPI。但是，当我在装有Android 7.1（不支持nnapi）的设备上运行相同的应用程序时，我获得的性能与使用Android 9（理论上为NNAPI）的设备相同。我如何将ML Kit与NNAPI一起使用？我做错了吗？ 链接到mlkit的文档：https://firebase.google.com/docs/ml-kit/

Answer 1

根据2018年10月的这篇论文AI Benchmark: Running Deep Neural Networks on Android Smartphones，当没有特定的硬件和/或驱动程序不可用时，NNAPI默认为CPU路径。在本文结尾处，它指出许多设备都有实现问题。

由于本文的作者包括高通，ARM，华为，联发科技和苏黎世联邦理工学院的代表，这可能是关于Android机器学习状态的最全面概述。

2019年1月，Google宣布TensorFlow Lite with GPU acceleration in developer preview，该文件将解决本文提出的一些问题。