我想在生产服务器上部署tensorflow。我期待大约200个并发用户。我将使用解析器和一些我自己的神经网络深度学习模型。我想知道相同的峰值内存和CPU使用情况。
感谢您的帮助。
答案 0 :(得分：4)
尝试一个简单的（但变化很大的）猜测：
如果你谈论深度学习，我推断你至少在谈论3层或更多层，包括一些CNN和可能的RNN。
如果您使用简单的2D或3D输入，但是复杂的架构，可以安全地说您的瓶颈将在CPU上，因此需要在GPU上实现算法。
您还需要准备扩展任意数量的客户端，因此扩展机制从一开始就很有用。
您还需要知道如何处理工作负载，是否需要实时服务，还是需要批处理队列？这极大地改变了要求。
一旦你能弄清楚这个以及其他细节，你就可以改进你的估计。
最诚挚的问候。
答案 1 :(得分：0)
对于记忆，它取决于3个因素：
在3个因素中，批量大小影响最大，因为图表的内存是：图表大小x批量大小
关于CPU我建议您将GPU用于图表。您可以进行一些测试并计算每秒可以对图表和所选批次大小进行的推断次数。 Tensorflow提供良好的实现处理并发非常好，你绑定将是图形速度