如何引发张量流内存不足错误的异常

Question

我正在使用@Value循环运行多个张量流推论，并且碰巧某些推论对我的GPU来说太重了。

我收到类似：

的错误

sess.run()

我希望能够捕获这些特定的OutOfMemory错误，但不能捕获其他错误（这可能是由于错误的输入格式或图形损坏引起的。）

显然，其结构类似于：

2019-05-23 15:37:49.582272: E tensorflow/core/common_runtime/executor.cc:623] 
Executor failed to create kernel. Resource exhausted: OOM when allocating tensor of shape [306] and type float

不起作用，因为其他类型的错误将导致调用try: sess.run(node_output, feed_dict={node_input : value_input}) except: do_outOfMemory_specific_stuff() 函数。

任何想法如何捕获这些OutOfMemory错误？

Answer 1

您应该可以通过以下方式捕获它：

ks init my-inference-server
cd my-inference-server
ks registry add kubeflow https://github.com/kubeflow/kubeflow/tree/master/kubeflow
ks pkg install kubeflow/nvidia-inference-server
ks generate nvidia-inference-server iscomp --name=inference-server --image=nvcr.io/nvidia/tensorrtserver:19.04-py3 --modelRepositoryPath=gs://inference-server-model-store/tf_model_store

根据this documentation。