我正在研究分布式DNN，据我所知，我们可以在许多GPU上分布DNN计算，也可以在移动设备上进行。推理架构通常是单个平台，因此可以存在于移动平台或云平台中。
我的问题是：
我们可以在联合平台（云和移动平台）中分配DNN架构中的训练和推理阶段吗？如果可能的话，该怎么做？
答案 0 :(得分：-1)
根据您的框架，有很多选择。 Horovod在很大程度上与框架无关，可用于分布式培训。它还满足您使用云服务的需求。尽管使用Distributed Tensorflow创建自己的框架是完全可能的，但是您应该意识到，这是比Horovod更为底层的方法，因此缺少一些麻烦。
另一方面，分布式推理并不常见，因为推理本身不需要像训练那样的计算能力，并且在大多数情况下是embarassingly parallelizable。