在从Kafka读取并在Python中发送http请求时并行运行多个进程

时间:2016-05-30 14:49:45

标签: python rest parallel-processing multiprocessing apache-kafka

我一直在寻找如何在Python中打开并行进程,偶然发现并发和多处理是最有趣的选择。可悲的是,我还没有能够正确地实施它们,因为它们似乎一个接一个地工作而不是同时工作。现在我的流程花了太长时间,我想我可以加快速度。

假设我在Python中编写了一个连接到Kafka队列并读取json消息的函数,然后每个消息将使用请求发送到休息服务并获取一些信息以便完成数据并在之后发布;那么我只是用响应来更新我的数据库。 我需要能够在多个进程中运行此函数,并在执行请求的同时从队列中读取,直到我发出消息。

这样做的最佳方法是什么?

0 个答案:

没有答案