采用NHWC数据格式的Tensorflow英特尔MKL优化

Question

使用英特尔MKL 优化编译

TensorFlow ，许多操作将得到优化并支持NCHW。

有人可以解释一下，为什么英特尔MKL比NHWC更支持NCHW格式？

Answer 1

TensorFlow默认的NHWC格式不是CPU最有效的数据布局，它会带来一些额外的转换开销。因此英特尔MKL支持NCHW格式

Answer 2

MKLDNN将在自定义（阻止）内存布局上运行大部分运算量很大的数学运算，从NCHW->阻止转换到NHWC->阻止的转换时间相似。因此，纯MKLDNN基本加速度应该没有区别。区别在于某些基于GEMM的数学，默认情况下适用于NCHW格式，这意味着如果输入格式为NCHW，则某些matmul调用将不需要布局转换。