多处理+ asyncio / aiohttp实现最佳在线购买

时间:2016-12-26 01:01:04

标签: python python-multiprocessing python-asyncio gil aiohttp

我正在尝试创建一个机器人来购买多个网站上的东西,以节省我手动这样做的时间。我很难弄清楚我需要哪些python模块才能充分利用我的机器。从一个网站购买商品的过程独立于另一个网站。

如果您发现错误或添加改进,请更正我的假设!

我的机器包含8个核心,理论上我可以使用multiprocessing并行运行8个任务(避免GIL)。假设我也有800个代理(防止禁止),我希望将它们均匀地分配到每个进程。在每个进程中,我可以使用asyncio/aiohttp向网站异步执行100个POST请求以尝试购买产品。

结果:

8并行处理 - >每个都有100个异步运行的请求。

我想知道是否有更好的方法可以解决这个问题,或者我的方法是否存在任何缺陷。

0 个答案:

没有答案