在Heroku上部署托管的深度学习模型？

Question

我目前想在Heroku上使用Flask部署深度学习REST API。权重（其预训练的BERT模型）存储在here*as a .zip file中。有什么办法可以直接部署这些？

根据我目前的了解，我必须将这些文件上传到Github / S3。这有点麻烦，因为它们已经托管，所以似乎毫无意义。让我知道！

Answer 1

通常，您可以编写一个bash脚本来解压缩内容，然后执行程序。但是...

1. 时间问题：拆箱需要花费时间。免费级的Heroku工人只能工作大约一天，然后才能被强制重启。如果您使用的是Web dyno，则重新启动会更加频繁，并且启动过程花费的时间太长（60秒绑定到$PORT会失败）

2. 大小问题：该zip文件大386 MB，解压缩后更大。
   Heroku的文件大小限制为500 MB，请参阅：https://devcenter.heroku.com/changelog-items/1145
   解压缩zip文件后，您将超出限制。压缩文件本身及其解压缩的内容远远超过500 MB。您需要对其进行预解压缩，并确保文件小于500 MB。但是考虑到数据已经压缩386 MB并解压缩，它将更大。此外，您将依赖一些构建包（python，javascript等），对其进行处理将占用内存。您将远远超过500 MB。

这意味着：您将需要为Heroku服务付费或寻找其他托管服务提供商。