在Tensorflow上增加Inter Op Parallelism时会发生什么？

Question

我已阅读有关InterOp和IntraOp并行性的Tensorflow文档。但是，我还没有完全理解InterOp并行性如何影响Tensorflow。

我的问题是：来自InterOp线程池的线程实际上并行训练模型（即，每个训练批次的不同子集训练，通过在线程之间划分训练迭代），或者它们只是并行化非冲突执行图的分支？

Answer 1

互操作并行性限制了执行程序可以并行启动的操作数。内部操作并行性限制了Eigen用于执行单个内核的CPU线程数。将数据拆分成批处理是由客户端处理的更高级别的功能（即，像tf.Estimator这样的Python库）。运行时无法区分数据和参数 - 两者都只是流经计算图的张量。