我的计划是获取许多不同的API结果,然后很好地为用户汇总结果,但是我在弄清楚如何处理尽可能多的用户而又在使用我可以访问的API时不违反任何规则时遇到了麻烦。计划是使用Flask / Python,但是API都有一些不同的限制,我真的很感激任何指针(跨多个工作程序)如何处理它。
API使用要求(我将来可能希望添加更多内容):
API#1:2个请求/秒
API#2:10k req / mo
API#3:10万请求/月
我考虑过要让一个中央控制器返回,如果工人可以使用它需要的API,但是听起来很慢,会返回吗?
答案 0 :(得分:1)
对于这些类型的问题,有良好的分布式任务队列。在Python上,流行的任务队列是Celery。
您可以在其中设置periodic tasks或限制任务速率:How to put rate limit on a celery queue?。