假设我们没有任何GPUs
。我们有一台具有CPU
内核的N
机器。我想在CPU上训练神经网络,并希望尽可能多地利用CPU。
我知道我可以设置inter_op_parallelism_threads
和intra_op_parallelism_threads
变量来控制Tensorflow中的并行性。但是我想知道Tensorflow默认情况下如何处理CPU内核之间的并行性吗?
我的初步猜测是默认情况下 ,Tensorflow将所有CPU内核视为一台设备,并使用它们{{1}在所有内核上同时运行一个单个操作}}库,我们没有任何inter_op并行性(这意味着并行运行mutli ops)。
我知道这个question。但这不是我想要的。我想知道tensorflow本身如何处理CPU内核之间的并行性。