制作汇总网站时避免对API造成压力

时间:2018-07-11 09:34:27

标签: python flask

我的计划是获取许多不同的API结果,然后很好地为用户汇总结果,但是我在弄清楚如何处理尽可能多的用户而又在使用我可以访问的API时不违反任何规则时遇到了麻烦。计划是使用Flask / Python,但是API都有一些不同的限制,我真的很感激任何指针(跨多个工作程序)如何处理它。

API使用要求(我将来可能希望添加更多内容):
API#1:2个请求/秒
API#2:10k req / mo
API#3:10万请求/月

我考虑过要让一个中央控制器返回,如果工人可以使用它需要的API,但是听起来很慢,会返回吗?

1 个答案:

答案 0 :(得分:1)

对于这些类型的问题,有良好的分布式任务队列。在Python上,流行的任务队列是Celery

您可以在其中设置periodic tasks或限制任务速率:How to put rate limit on a celery queue?