为什么Tensorflow多GPU培训如此之慢？

Question

最近我修改了我的模型，以便在同一台机器上的2-GPU上进行训练。但速度与一个GPU的速度相同。

问题是：

1.为什么后退涵盖如此长的时间范围？这是正常情况吗？

2.似乎前方没有性能瓶颈，但为什么图像中的棕色区域如此稀疏，但上面的灰色区域显示GPU确实存在计算？

3.前进后有很多点对点的memcpy，为什么？什么操作？BTW，我的模型中没有太多BN。