Azure Machine Learning Studio:已部署的服务提供OutOfMemoryLimit异常

时间:2017-12-04 16:52:20

标签: azure azure-resource-manager azure-machine-learning-studio

使用Azure Machine Learning Studio我已经发布了一些在已部署的服务中出现OutOfMemoryLimit问题的模型(而不是在培训期间)。

我使用的模型类型是“多类决策森林”,我确实创建了一些体面的森林。存储到blob时,它们的大小约为150 MB。关闭150我每次都得到OOM。在140左右,也许在十分之一,甚至在120 MB,他们偶尔会发生。

事情是它在工作室中运行良好,并且当作为服务部署时,它在提供异常时不是非常一致。我可以针对服务运行请求,并在10个案例中获得9个回复,但是在剩余的10%情况下,我将得到一个如下所示的异常:

  

{“error”:{“code”:“MemoryQuotaViolation”,“message”:“模特有   超出分配给的内存配额   它。“,”详细信息“:[{”code“:”OutOfMemoryLimit“,”message“:”模型   消耗的内存比拨给它的内存多。允许的最大值   该型号的内存为2560 MB。请检查您的型号   的问题。“}]}}

现在我将其作为请求响应运行,而不是批处理作业,我怀疑它可能作为批处理作业正常运行。 R-R的原因是我确实需要实时的这些数据,批处理作业太慢了。

我怀疑“正确”的方法是通过减少树木数量或增加叶子节点大小来进一步阻碍我的森林,但显然这会降低模型的准确性(进一步)。在我这样做之前,我正在寻找一些建议:

是否可以支付超过Azure ML SaaS的2.5 GB限制? (如果没有,那会是什么时候?)

在实际部署之前,有没有办法测试部署的模型是否会破坏此限制?我们正在尝试自动进行再培训,这大大降低了我们的可靠性。

关于尝试/测试/想到什么的任何其他建议

提前致谢!

0 个答案:

没有答案