tensorflow - Tensorflow服务：为每个模型使用一小部分GPU内存

Tensorflow服务：为每个模型使用一小部分GPU内存

时间：2017-12-01 05:44:26

标签： tensorflow deep-learning tensorflow-gpu tensorflow-serving

我可以使用一个GPU进行部署，但需要部署多个模型。我不想将完整的GPU内存分配给第一个部署的模型，因为那时我无法部署我的后续模型。在训练时，可以使用gpu_memory_fraction参数来控制。我使用以下命令来部署我的模型 -

tensorflow_model_server --port=9000 --model_name=<name of model> --model_base_path=<path where exported models are stored &> <log file path>

我可以设置一个标志来控制gpu内存分配吗？

由于

2 个答案:

答案 0 :(得分：2)

新的TF服务允许在此pull request

中设置标记

def ERRORDISPLAY(ErrorTpye): 
    conn = connection.MySQLConnection(user = 'user', password = '123456',
                                 host = 'localhost', database= 'HomeConnect')
    cursor = conn.cursor()
    value = ErrorList
    query = ("SELECT errNumber, description FROM Error_List WHERE errNumber =" + str(value))

    cursor.execute(query, (value))

    for (description) in cursor:
        return print(num, description)

ERRORDISPLAY(1)

答案 1 :(得分：1)

我刚添加一个标志来配置gpu内存分数。 https://github.com/zhouyoulie/serving