Tensorflow随XLA编译器一起发布,该编译器针对LLVM编译后端C ++ tensorflow。我对XLA的理解是,只要有LLVM->设备支持,这就是朝支持通用加速设备迈出的一步。
Tensorflow lite是最近发布的,取代了Tensorflow Mobile,并且似乎是致力于嵌入式和移动设备的工作,而显然将重点放在这些环境中常见的作为可选处理器的嵌入式DSP和GPU上。 Tensorflow lite似乎可以将操作移交给Android NNAPI(神经网络API),并支持部分tensorflow OP。
所以这引出了一个问题:Google将朝哪个方向支持非基于CUDA的设备?还有XLA的用例超出了我的描述?
答案 0 :(得分:1)
我在XLA上工作。 XLA编译器具有三个后端:用于CPU,GPU和TPU。 CPU和GPU都是基于LLVM的,并且是开源的,而TPU是封闭的。
我不知道针对移动设备XLA的计划是什么,所以我无法对此发表评论。
通过将XLA与TF模型一起使用而不是直接执行模型,您可以获得的好处是XLA为您融合了许多操作。例如,请参见this post。