我目前正在运行Tensorflow会采集图像识别，我正在考虑购买新的GPU以支持更复杂的图形，批量大小和输入尺寸。我读过像this这样的帖子，不建议使用AWS GPU实例来训练网络，但总是欢迎更多的意见。
我已阅读Tensorflow的指南'Training a Model Using Multiple GPU Cards'，而且图表似乎在GPU中重复。我想知道这是在Tensorflow convnet中使用并行GPU的唯一方法吗？
我问这个的原因是因为如果Tensorflow只能跨多个GPU复制图形，那么这意味着每个GPU必须至少具有我的模型一批所需的内存大小。 （例如，如果所需的最小内存大小为5GB，则每个4GB的两张卡都不能完成工作）
提前谢谢！
答案 0 :(得分：0)
不，绝对可以在不同的GPU上使用不同的变量。 对于您声明的每个变量和每个图层，您可以选择声明变量的位置。
在特定情况下，您可能希望使用多个GPU来复制模型，以便增加其operator delete()训练参数以加快训练，您仍然需要使用共享参数的概念显式构建模型并管理这些参数如何沟通。