我正在运行由tensorflow分发的camera iOS example,而且非常慢:iPhone6上的每次推断4-5秒,运行inception5h.zip模型。
据我了解,这是GoogleNet模型,它是轻量级的,iOS代码拉出了它的第一个输出层,大约是整个模型的一半。我在macbook上使用python接口运行相同的模型,每次推断需要30 ms。
所以我想知道为什么在iOS上运行相同型号比在macbook上运行速度慢150倍。似乎我做了一些明显的错误。
答案 0 :(得分:3)
这还没有详细记录,但是你需要将优化标志传递给编译脚本以获得库的快速版本。这是一个例子:
tensorflow/contrib/makefile/compile_ios_tensorflow.sh "-Os"
这应该会让你的速度提升很多,非正式地我在5S上看到GoogLeNet的第二或更少。