XLA docs提到CPU后端是单线程的:
XLA CPU后端生成快速单线程代码(在大多数情况下),但尚未与TensorFlow CPU后端并行化。 [...]
[...]。这个决定是由于CPU后端是单线程的。
直到最近,曾经有一个名为tensorflow/compiler/xla/service/cpu/cpu_parallelization_preparation.h
的文件(及其在对应的.cc
文件中的实现)表明并行CPU后端正在其中。如果我理解正确的话,那就是将模型并行性(或者操作间并行性)引入XLA。但是此文件已在this commit中删除。
这是否意味着XLA焦点将在运算内并行中(例如,Eigen用于并行矩阵乘法),CPU后端将连续执行模型的运算?
提前致谢。