使用django和sklearn巨大的模型

时间:2017-07-04 15:14:08

标签: django scikit-learn pickle

我正在开发一个使用sklearn SVR模型的django项目。培训部分需要花费大量时间,我需要相对较快地使用它,所以我试图将培训部分脱机并将其存储在db / filesystem中,然后在线加载它并使用模型。

问题是,当我尝试使用cPickle来序列化数据时,我最多会得到超过500MB(有时甚至会有几个GB)。我不能足够快地在线加载这么多数据,它会使请求变得非常慢。

所以我的问题是,当我想要高性能时,推荐使用sklearn SVR与django的方法是什么?我应该使用cPickle来序列化/反序列化还是其他什么?我应该拉链吗?那么加载怎么样,显然我不能按照请求加载这整个数据,所以要把它放在缓存中是什么意思?

谢谢,

0 个答案:

没有答案