使用Twisted进行异步API请求的类

Question

我正在开发一个从休息服务器收集数据并对其进行操作的系统。

其中一个要求是多个频繁的API请求。我们目前以一种同步的方式实现这一点。我可以使用线程轻松实现这一点，但考虑到系统可能需要每秒支持数千个请求，我认为利用Twisted的能力来有效地实现上述操作是明智的。我见过this blog post，延迟列表的整个想法似乎都有效。但是我对如何构建我的课程感到困惑（无法将我的思想包含在Twisted如何工作中）。

您是否可以尝试概述将运行事件循环的类的结构，并且能够获取URL和标头列表并在异步发出请求后返回结果列表？

你知道在python中实现这个的更好方法吗？

Answer 1

听起来您想要使用名为treq的Twisted项目，它允许您向HTTP端点发送请求。它的工作方式很像requests。我最近帮助了一位朋友here in this thread。我的回答可能会对你有所帮助。如果您仍需要更多帮助，请发表评论，我会尽力更新此答案。