如何在具有AVX2支持的情况下运行Keras模型

Question

我需要通过运行诸如mobilenet2和densnet121之类的模型来测量每个图像的预测执行时间。

首先，我只使用股票tensorflow运行python代码。

start = time.time()
out = m.predict(val)
end = time.time()

print("model: densenet")
print ("time: ", (end - start)/batch_size)

其中batch_size用于避免预测开销时间。

我已经关注了输出：

Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2
model: mobilenet2
time: 0.24023537635803222
model: densenet
time: 1.045912742614746

然后我下载tensorflow-build wheel并使用python -m pip安装车轮

当前消息：

# AVX2 message does not appear anymore
model: mobilenet2
time:  0.16217999935150146
model: densenet
time:  0.6216100001335144

是否有一种“正确”的方法来执行此操作，因为avx2看起来并不能大大加快预测速度？