为什么每个工作节点都使用张量流中的数据并行性来对应不同的主会话

Question

启动分布式tensorflow程序时（请参阅官方 imagenet_distributed_train ），每个工作节点对应于日志中的不同主节点。我启动了2个工作节点和1 ps节点，并得到了以下日志：

worker 0 : Start master session 0ea38069210dd3af with config: allow_soft_placement: true

worker 1 : Start master session adf82dd63a6f4dc6 with config: allow_soft_placement: true 

但是我从tensorflow论文看下面的图片。在我对tensorflow的有限经验中，这应该是图形模型，其中一个主对应于多个工作者。

enter image description here

我的问题是：

1. 数据并行对应于图之间的模型，而模型并行对应于图之间的模型。这是对的吗？
2. 如果是，Do N工作节点对应数据并行中的N主会话？如果也是，我不明白为什么这不是一个控制多个工作节点的主会话。如果一个master对应多个worker，那么为什么上面的log会显示不同的master会话？

提前致谢