XLA是否自动处理模型并行性?

时间:2018-06-10 16:38:51

标签: tensorflow-xla

XLA docs提到CPU后端是单线程的:

  

XLA CPU后端生成快速单线程代码(在大多数情况下),但尚未与TensorFlow CPU后端并行化。 [...]


  

[...]。这个决定是由于CPU后端是单线程的。


直到最近,曾经有一个名为tensorflow/compiler/xla/service/cpu/cpu_parallelization_preparation.h的文件(及其在对应的.cc文件中的实现)表明并行CPU后端正在其中。如果我理解正确的话,那就是将模型并行性(或者操作间并行性)引入XLA。但是此文件已在this commit中删除。

这是否意味着XLA焦点将在运算内并行中(例如,Eigen用于并行矩阵乘法),CPU后端将连续执行模型的运算?

提前致谢。

0 个答案:

没有答案